jacob-yo.net
information theory entropy - Jacob is studying on programming
참고자료) https://youtu.be/NHAatuG0T3Q Pi는 각 class에 해당하는 값이 나올 확률 entropy 값이 1인경우 완전히 골고루 펼쳐진 상태. 에너지가 골고루 퍼진 상태. disorder값이 최대인상태 (Info 1.1) Entropy – Definitionhttps://youtu.be/LodZWzrbayY X random variable은 conitinuous가 아니고 discrete이다. log의 base는 10, e 자연상수를 사용할수도 있으나 information theory에서는 보통 2를 사용한다. 특별한 언급이 없는 경우는 2라고 생각한다. base가 2가 아닌 경우 Hb(X)와 … Read More →