GPT2 Byte Pair Encoding (BPE) 토크나이저 완전 정복 Byte Pair Encoding (BPE)는 자연어 처리에서 널리 사용되는 서브워드 토크나이저 알고리즘으로, 특히 희귀 단어 처리와 어휘 확장성 측면에서 강력한 성능을 보여줍니다. 이 문서에서는 BPE의 작동 원리, 구현 방법, 다른 토크나이저와의 비교, 그리고 실제 LLM 개발에의 적용 방법을 상세히 다룹니다.** You can find the English version of this content at this page (https://markbyun.blogspot.com/2025/05/mastering-byte-pair-encoding-bpe.html) 1. BPE의 개요BPE는 원래 1994년에 데이터 압축을 위해 제안된 알고리즘으로, 가장 자주 나타나는 문자 쌍을 반복적으로 병합하여 데이터.. 2025. 5. 28. 트랜스포머 아키텍처 완벽 가이드 | Transformer Architecture Guide 트랜스포머 아키텍처 완벽 가이드트랜스포머란 무엇인가?트랜스포머(Transformer)는 2017년 Vaswani 외 연구진이 "Attention is All You Need" 논문에서 소개한 신경망 아키텍처로, RNN이나 LSTM 같은 순차적 모델을 대체하면서 자연어처리 분야에서 혁신을 일으켰습니다. 트랜스포머는 셀프 어텐션(Self-Attention)을 통해 문장의 전 범위를 병렬적으로 처리하며, 긴 입력 문장을 이해하고 학습하기 어려웠던 문제를 효과적으로 해결합니다. 또한 이전 알고리즘들이 병렬 처리가 힘들었던 부분도 함께 해결합니다.1. 트랜스포머 구성 요소와 RNN/LSTM의 한계 극복트랜스포머는 인코더와 디코더로 이루어진 구조로, 각 블록은 다음의 주요 구성 요소로 이루어져 있습니다:셀프 어텐션.. 2025. 5. 8. 이전 1 다음
