layer norm1 딥러닝에서 특성 정규화 (Feature Normalization) 기법의 중요성 딥러닝 모델을 훈련할 때 특성 정규화는 모델 성능, 수렴 속도 및 훈련 안정성을 개선하는 데 중요한 역할을 합니다. 특성(feature) 정규화는 다음과 같은 이유로 필수적입니다.1. 수렴 속도 가속화신경망은 일반적으로 SGD(확률적 경사 하강법), Adam 등과 같은 경사 기반 최적화 기법을 사용하여 훈련됩니다. 만일, 입력 특성들이 서로 다른 범위를 가질 경우 (예: 하나는 0에서 1 사이, 다른 하나는 0에서 1000 사이), 손실 함수는 왜곡되거나 불안정해집니다. 이로 인해 기울기가 진동하거나 훈련이 불안정해질 수 있습니다. 이런 이유로 특성을 정규화하면 모델이 비슷한 크기의 데이터를 처리하게 되어 손실 함수가 더 매끄럽게 되며, 훈련 속도가 빨라집니다.2. 수치적 안정성 향상딥러닝 모델은 활성화.. 2025. 4. 21. 이전 1 다음
