1. 확률분포를 엔트로피로 표현하기 1.1. 엔트로피의 개념 엔트로피는 기본적으로 불확실성의 척도이다. 특정 상황에서 결과를 예측하기 위한 정보가 부족할수록 엔트로피는 커지게 된다. 이러한 엔트로피 개념을 확률분포에 적용하면, 확률분포의 엔트로피는 그 분포가 표현하는 불확실성의 척도라고 볼 수 있다. 높은 엔트로피 값을 가진 확률분포는 우리가 결과를 예측하기 어렵다는 것을 의미한다. 다시 말해, 그 결과에 대한 정보가 부족함을 나타낸다. 반면 낮은 엔트로피 값을 가진 확률분포는 우리가 결과를 상대적으로 쉽게 예측할 수 있다는 것을...