엔트로피를 처음 접한 것은 열역학에서이다. 하지만 이번에 소개할 엔트로피는 에서의 엔트로피이다. 엔트로피는 주어진 정보에서 내가 그 정보를 모두 다 아는데 소모되는 데이터의 양이다. (정보의 불확실성이라 표현하는 것도 적절하다.) 동전을 던지는 예로 생각해 보자. 을 살펴보자. Entropy_Coin 은 앞뒤가 같은 색이고 는 앞은 검은색, 뒤는 빨간색이다. 의 경우 색을 알아보기 위해 동전을 살펴볼 필요가 없다. (Entropy = 0) 의 경우 색을 알아보기 위해 앞과 뒤를 보아야 한다. (Entropy = 1) (이 경우 앞만 보면 되지 않냐고 할 수 있는데 엔트로피의 정의대로 하면 두쪽을 다 보는 값과 같다.) 엔트로피의 식은 아래와 같다.$Entropy(H) = \sum_{i}-P_i\log_{..
