transformer4 RoFormer와 Rotary Position Embedding: Transformer 위치 인코딩의 혁신 Rotary Position Embedding(RoPE)은 2021년 발표된 RoFormer 논문(https://arxiv.org/pdf/2104.09864)에서 제안된 위치 인코딩 기법입니다. 이 기술은 기존의 절대적 위치 인코딩 방식의 한계를 극복하고, Transformer 모델의 시퀀스 인식 능력을 한층 강화합니다.** You can find the English version of this content at this page (https://markbyun.blogspot.com/2025/05/roformer-and-rotary-position-embedding.html)1. 기존 위치 인코딩 방식의 한계Transformer는 입력 토큰 간 순서를 인식하지 못하기 때문에, 위치 인코딩(Posit.. 2025. 5. 27. 대규모 언어 모델의 KV 캐시: 설계, 최적화 및 추론 가속 대규모 언어 모델의 KV 캐시: 설계, 최적화 및 추론 가속Transformer는 대규모 언어 모델(LLM)의 핵심 구조이지만, 긴 컨텍스트를 처리하는 추론 과정은 많은 계산 (시퀀스 길이의 제곱) 비용이 듭니다. KV 캐시—Key/Value Cache는 자기회귀(autoregressive) 디코딩 과정에서 이전에 계산된 Key, Value의 값을 캐싱하여 재사용함으로써 추론 속도를 선형으로 줄여주는 핵심 최적화 기법 중 하나입니다. 이 글에서는 Efficiently Scaling Transformer Inference 논문을 바탕으로 KV 캐시의 구조, 동작 원리, 구현 방식, 최적화 전략에 대해 심층 분석합니다.** You can find the English verion of this content.. 2025. 5. 26. 트랜스포머 아키텍처 완벽 가이드 | Transformer Architecture Guide 트랜스포머 아키텍처 완벽 가이드트랜스포머란 무엇인가?트랜스포머(Transformer)는 2017년 Vaswani 외 연구진이 "Attention is All You Need" 논문에서 소개한 신경망 아키텍처로, RNN이나 LSTM 같은 순차적 모델을 대체하면서 자연어처리 분야에서 혁신을 일으켰습니다. 트랜스포머는 셀프 어텐션(Self-Attention)을 통해 문장의 전 범위를 병렬적으로 처리하며, 긴 입력 문장을 이해하고 학습하기 어려웠던 문제를 효과적으로 해결합니다. 또한 이전 알고리즘들이 병렬 처리가 힘들었던 부분도 함께 해결합니다.1. 트랜스포머 구성 요소와 RNN/LSTM의 한계 극복트랜스포머는 인코더와 디코더로 이루어진 구조로, 각 블록은 다음의 주요 구성 요소로 이루어져 있습니다:셀프 어텐션.. 2025. 5. 8. D-FINE: 객체 탐지의 새 지평을 여는 DETR 기반 알고리즘 D-FINE은 기존 Transformer 기반 객체 탐지 모델(DETR 계열)들이 겪던 경계 상자 회귀와 느린 수렴 문제를 해결하고자 개발된 최신 알고리즘입니다. 이 글에서는 D-FINE의 핵심 메커니즘인 FDR (Fine-grained Distribution Refinement)과 GO-LSD (Global Optimal Localization Self-Distillation)을 중심으로, 그 구조와 기술적 기여, 성능 비교, 그리고 YOLOv12와의 차별성을 자세히 분석합니다.1. D-FINE의 등장 배경과 문제의식DETR(Detection Transformer)은 객체 탐지에서 앵커와 NMS를 제거한 획기적인 모델로 각광받았으나, 실전 적용에는 몇 가지 약점이 있었습니다. 대표적으로:수렴 속도가 매.. 2025. 5. 6. 이전 1 다음
