본문 바로가기

cross entropy loss2

딥러닝 소프트맥스 함수 완벽 정리: 정의, 수식, 예제까지 소프트맥스(Softmax)란?Softmax는 실수 벡터(로짓)를 예측 클래스에 대한 확률 분포로 변환하는 수학적 함수입니다. 주로 분류 모델의 출력층, 특히 다중 클래스 분류 문제에서 사용됩니다.수학적 정의실수 벡터 $z = [z_1, z_2, ..., z_K]$가 주어지면, 소프트맥스 함수는 벡터 $\sigma(z)$를 출력합니다. 여기서:$\sigma(Z_i)=\frac{e^{z_i}}{\sum_{j=1}^{K}e^{z_j}} \text{(for i=1, ..., K)}$각 요소 $\sigma(z_i) \in (0, 1)$이며, 모든 요소의 합은 1입니다: $\sum_{i=1}^K \sigma(z_i) = 1$.소프트맥스를 사용하는 이유로짓(raw score)을 확률로 변환해줍니다.모델이 예측에 대해.. 2025. 4. 23.
딥러닝에서 엔트로피와 크로스 엔트로피 손실 함수 완벽 이해 딥러닝에서 엔트로피란?딥러닝에서의 엔트로피는 일반적으로 정보 이론에서 클로드 섀넌(Claude Shannon)이 1948년에 제안한 정보 엔트로피를 의미합니다. 이는 확률 분포에서의 불확실성 또는 무작위성을 측정하는 개념입니다.직관적으로 이해하기:무언가에 대해 매우 불확실하다면 (예: 이미지의 클래스를 예측할 때) 엔트로피는 높습니다.반대로 확신이 높은 예측을 한다면 (예: 모델이 고양이라고 확신하는 경우) 엔트로피는 낮습니다.수학적 정의 (샤논 엔트로피)확률 분포 p = [p1, p2, ..., pn]가 주어졌을 때, 엔트로피 H(p)는 다음과 같이 계산됩니다:이 수식은 가능한 각 결과에서 발생하는 "놀라움" 또는 "정보량"을 합산한 것입니다.딥러닝에서의 엔트로피: 어디에, 왜 사용될까?딥러닝에서 엔트.. 2025. 4. 22.