Lora2 LLaMA 3.2-1B-Instruct 모델 한국어 파인튜닝 가이드 Meta의 LLaMA 3.2-1B-Instruct 모델을 한국어 지시문 데이터셋으로 Hugging Face와 LoRA를 활용해 파인튜닝하는 상세 튜토리얼입니다.1. LLaMA 3.2-1B-Instruction 모델 한국어 파인 튜닝이 필요한 이유LLaMA 3.2-1B-Instruct는 Meta에서 출시한 경량 인스트럭션 튜닝 언어 모델로, 비교적 적은 자원으로도 다양한 지시문 기반 태스크에 응답할 수 있도록 설계되었습니다. 비록 이 모델이 다중 언어를 지원하도록 학습은 되었으나 몇 몇 주요 언어들에 대해서만 학습이되어 한구어와 같이 직접 학습에 사용되지 않은 언어에 대해서는 제대로 동작하지 않는 문제가 있습니다. 따라서 이 문서에서는 Hugging Face Transformers와 PEFT(특히 LoRA.. 2025. 5. 29. SVD와 Truncated SVD: 이론, 구현 및 딥러닝/머신러닝 활용 특이값 분해 (Singular Value Decomposition)은 수학, 공학 및 경제학 분야에서 많이 사용되는 행렬 분해 방법으로 행렬 연산 가속화나 데이터 압축에 적용되는 중요한 개념이므로 한번쯤 공부를 해두면 좋은 내용입니다.SVD (Singular Value Decomposition) 이론특이값 분해(Singular Value Decomposition, SVD)는 모든 실수 또는 복소수 행렬에 대해 적용 가능한 행렬 분해 기법입니다. 임의의 행렬 A (m×n)는 다음과 같이 분해됩니다:$A = U * Σ * V^T$U: 좌측 특이 벡터로 구성된 직교 행렬 (m × m)$\Sigma$: 특이값 (singular values)이 대각선에 있는 대각 행렬 (m × n)$V^T$: 전치된 우측 특이 .. 2025. 5. 1. 이전 1 다음
