kl 분포1 확률 분포 간 차이를 측정하는 KL Divergence 개념과 수식 정리 KL Divergence란 무엇인가?Kullback–Leibler Divergence (KL Divergence)는 확률 이론, 정보 이론, 머신러닝에서 매우 중요한 개념입니다. 이는 두 확률 분포 간의 차이를 측정합니다. 본질적으로, KL Divergence는 한 분포(Q)를 사용하여 다른 분포(P)를 근사할 때, 얼마나 많은 정보가 손실되는지를 알려줍니다. KL Divergence는 종종 분포 간의 "거리"를 측정하는 것처럼 설명되지만, 주의할 점은 진정한 의미의 거리(metric)가 아닙니다. 그 이유는 대칭적이지 않기 때문입니다. 즉:$KL(P \parallel Q) \neq KL(Q \parallel P)$ 딥러닝에서 KL Divergence가 중요한 이유KL Divergence는 여러 핵심 M.. 2025. 4. 28. 이전 1 다음
