信息论

定义

信息论是研究信息的量化、存储和通信的数学理论，由美国工程师克劳德·香农于一九四八年创立。它用严格的数学方法刻画通信系统中信息的本质，回答了一条信道最多能可靠传输多少信息、数据最少能压缩到何种程度等根本问题。

原理

信息论的核心概念是信息熵，用以度量信源的不确定性。香农证明了两条基本定理：无失真信源编码定理给出数据压缩的理论下限，即平均码长不能小于信源熵；有噪信道编码定理则指出，只要传输速率低于信道容量，就能以任意小的错误率可靠通信。互信息和信道容量是衡量信息传递效率的关键量。

应用

信息论深刻影响了现代通信与计算技术。数据压缩算法、纠错编码、移动通信和深空探测都建立在其原理之上。它还渗透到密码学、机器学习、统计推断乃至生物学和物理学领域。信息熵作为衡量不确定性的通用工具，已成为众多学科分析与建模时的基本概念。