香农两大定律
香农两大定律，通常指信息论里最核心的两个理论，由信息论之父
Claude Shannon
在 1948 年论文《A Mathematical Theory of Communication》中提出，属于
Information Theory 的核心基础。
这两个定律本质上回答两个问题：
1️⃣ 信息 最少可以压缩到什么程度
2️⃣ 信息 在噪声环境中最多能传多少
一、第一定律：香农信息熵定律（信息压缩极限）
学名：
Shannon Entropy
核心问题：
一段信息，理论上 最少需要多少比特存储？
公式：
H = - Σ p(x) log₂ p(x)
含义：
H = 信息熵（信息量）
p(x) = 某个符号出现的概率
简单理解：
信息的不确定性越大，信息量越大。
举个非常直观的例子
情况1：完全确定
例如每天新闻只有一句：
中国首都是北京
每天都是这句话。
那么：
信息量 ≈ 0
因为没有任何新信息。
情况2：抛硬币
正反概率：
50%
50%
信息量：
1 bit
因为只有两个可能。
情况3：彩票号码
假设：
1亿种可能
那信息量就非常大。
因为不确定性极高。
这个定律解决了什么问题？
数据压缩
例如：
ZIP
MP3
JPEG
MP4
这些压缩算法其实都在逼近 香农极限。
例如：
图片压缩的思想：
重复信息删除
比如：
AAAAAA
可以压缩成
A×6
二、第二定律：香农信道容量定律
学名：
Shannon–Hartley Theorem
核心问题：
在有噪声的信道中，数据传输速度 最大是多少？
公式：
C = B log₂(1 + S/N)
含义：
| 符号 | 含义 |
|---|---|
| C | 信道容量 |
| B | 带宽 |
| S | 信号强度 |
| N | 噪声 |
简单解释
一个通信系统：
信号 + 噪声
如果噪声太大：
信息无法可靠传输
香农证明了一件革命性的事情：
只要传输速率低于某个极限，就可以做到几乎零错误通信。
但如果超过这个极限：
再好的编码也无法保证正确
三、这个定律有多伟大
在香农之前，人们认为：
噪声越大 → 通信越不可靠
香农证明：
通过编码可以无限接近完美通信
这直接奠定了：
互联网
手机通信
卫星通信
四、现实世界应用
几乎所有通信技术都建立在这个定律上。
例如：
手机通信
4G
5G
WiFi
都要计算：
信道容量
互联网
光纤通信：
光信号 + 噪声
必须保证：
传输速率 < 香农极限
卫星通信
例如：
NASA 的深空通信
火星探测器传输数据时：
信号极弱
必须使用复杂编码接近香农极限。
五、两个定律的终极意义
香农其实回答了两个哲学问题：
第一问题
信息最少需要多少？
答案：
信息熵
第二问题
通信最多能传多少？
答案：
信道容量
六、用一句话理解香农两大定律
第一定律：信息可以压缩到什么程度
第二定律：通信可以传输到什么极限
七、为什么 AI 时代香农思想更重要
今天很多技术其实都是信息论：
AI训练：
数据 = 信息
大模型本质：
压缩人类知识
例如：
ChatGPT
可以理解为：
人类语言统计压缩系统
为什么很多科学家认为：
宇宙本质上就是信息
而香农其实无意中打开了这个世界观。
评论
发表评论