Rope2 RoFormer와 Rotary Position Embedding: Transformer 위치 인코딩의 혁신 Rotary Position Embedding(RoPE)은 2021년 발표된 RoFormer 논문(https://arxiv.org/pdf/2104.09864)에서 제안된 위치 인코딩 기법입니다. 이 기술은 기존의 절대적 위치 인코딩 방식의 한계를 극복하고, Transformer 모델의 시퀀스 인식 능력을 한층 강화합니다.** You can find the English version of this content at this page (https://markbyun.blogspot.com/2025/05/roformer-and-rotary-position-embedding.html)1. 기존 위치 인코딩 방식의 한계Transformer는 입력 토큰 간 순서를 인식하지 못하기 때문에, 위치 인코딩(Posit.. 2025. 5. 27. 트랜스포머 아키텍처 완벽 가이드 | Transformer Architecture Guide 트랜스포머 아키텍처 완벽 가이드트랜스포머란 무엇인가?트랜스포머(Transformer)는 2017년 Vaswani 외 연구진이 "Attention is All You Need" 논문에서 소개한 신경망 아키텍처로, RNN이나 LSTM 같은 순차적 모델을 대체하면서 자연어처리 분야에서 혁신을 일으켰습니다. 트랜스포머는 셀프 어텐션(Self-Attention)을 통해 문장의 전 범위를 병렬적으로 처리하며, 긴 입력 문장을 이해하고 학습하기 어려웠던 문제를 효과적으로 해결합니다. 또한 이전 알고리즘들이 병렬 처리가 힘들었던 부분도 함께 해결합니다.1. 트랜스포머 구성 요소와 RNN/LSTM의 한계 극복트랜스포머는 인코더와 디코더로 이루어진 구조로, 각 블록은 다음의 주요 구성 요소로 이루어져 있습니다:셀프 어텐션.. 2025. 5. 8. 이전 1 다음
