[영상처리] Entropy

문제 Symbol s1, s2, s3, s4의 확률 p는 각각 0.45, 0.25, 0.1, 0.2이다 확률 값은 1-D array에 저장한 후에 coding한다. \(Entropy,H = \sum_{i=0}^{3}p_{i}log_{2}(\frac{1}{p_{i}})\) \(log_{a}b = \frac{log_{10}b}{log_{10}a}\) \(log_{2}\frac{1}{p} = -log_2p = -{log_{10}(p)}/{log_{10}(2)}\) 정답 H = 1.814

1. 코드

	float H = 0;
	float p[4] = { 0.45,0.25,0.1,0.2 };
	for (i = 0; i < 4; i++)
	{
		H += p[i] * -log10(p[i]) / log10(2);
	}
	printf("H : %f\n", H);
	printf("H : %.3f\n", H);

2. 결과

H : 1.814980
H : 1.815