손실 함수1 딥러닝에서 엔트로피와 크로스 엔트로피 손실 함수 완벽 이해 딥러닝에서 엔트로피란?딥러닝에서의 엔트로피는 일반적으로 정보 이론에서 클로드 섀넌(Claude Shannon)이 1948년에 제안한 정보 엔트로피를 의미합니다. 이는 확률 분포에서의 불확실성 또는 무작위성을 측정하는 개념입니다.직관적으로 이해하기:무언가에 대해 매우 불확실하다면 (예: 이미지의 클래스를 예측할 때) 엔트로피는 높습니다.반대로 확신이 높은 예측을 한다면 (예: 모델이 고양이라고 확신하는 경우) 엔트로피는 낮습니다.수학적 정의 (샤논 엔트로피)확률 분포 p = [p1, p2, ..., pn]가 주어졌을 때, 엔트로피 H(p)는 다음과 같이 계산됩니다:이 수식은 가능한 각 결과에서 발생하는 "놀라움" 또는 "정보량"을 합산한 것입니다.딥러닝에서의 엔트로피: 어디에, 왜 사용될까?딥러닝에서 엔트.. 2025. 4. 22. 이전 1 다음
