高级
香农信息熵的数学直觉
解释信息熵如何量化不确定性及其与信息量的关系。
📝 提示内容
解释克劳德·香农提出的信息熵概念。请从数学公式 H(X) = -Σ p(x) log p(x) 出发，阐述信息熵如何量化系统中的不确定性或信息量，并举例说明为何一个低概率事件发生时包含的信息量比高概率事件更高。