通信的数学理论

1948 年之前的通信工程靠经验与直觉：信息量怎么定义？噪声下可靠传输的极限在哪里？能不能无限压缩？香农要建立一套可计算框架，把「信息」变成与语义无关的物理量——他不是疏忽语义，而是刻意取舍。

1. 信息＝不确定性的减少：把消息看成从符号集合中的一次选择，越难猜（概率越均匀）信息量越大；熵 H=Σp·log(1/p) 给出度量，比特成为单位。
2. 信源编码定理：数据可以被压缩到熵所给的下限而不损失——这是无损压缩的理论极限，也是为什么文本文件能压、随机噪声不能压。
3. 信道容量定理：在有噪声的信道上，只要传输速率低于容量 C，就能以任意小的错误率可靠传输；超过 C 则不可能——这是全篇最重要的工程结论。
4. 边界同样重要：整套理论只处理「符号被正确传输」，不处理「意思是什么」——这条边界让它普适，也决定了它不能回答语义与社会层面的问题。

比特

信息量的单位：一次等概率的二选一所提供的选择量。例：抛一次公平硬币的结果是 1 比特。

熵

信源不确定性的度量，也就是无损压缩的下限。例：英文文本的熵远小于每个字符 8 比特，所以能被压缩好几倍。

信道容量

给定噪声条件下可靠传输的速率上限。例：电话线的容量决定了拨号时代为什么只有几十 kbps。

冗余

超出必要信息量之外的可压缩部分，用来对抗噪声。例：重复说一遍「明早八点」是冗余，但在地铁信号差时有用。

• 香农自己的警告（1956）：信息论「不必然适用于心理学、经济学与其他社会科学」，跨领域应用「不是把词换到新领域的琐事，而是缓慢乏味的假设与实验验证过程」——这句话后来被反复引用，因为滥用的浪潮从未停止。
• 「香农–韦弗模型」的错位：1949 年书版加入 Weaver 写的 28 页导言，标题也从 A Mathematical Theory 改成 The Mathematical Theory；1986 年《Communication Research》的论文指出，许多针对「香农模型不适用于人类传播」的批评，批评的其实是导言的通俗化版本。
• 熵＝信息的滥用：把负熵与信息等同、把物理熵概念搬到经济与社会领域，缺乏理论依据。Georgescu-Roegen 的批评与 1998 年《Ecological Economics》上的梳理都指出，「信息」一词在消息、选择、不确定性与知识之间自由滑动，是误解的根源。

• 一级原文：提出比特与熵、信源编码与信道容量定理，并明确声明语义层面与工程问题无关；现代通信工程的理论基础。Bell System Technical Journal（Shannon, 1948）访问于 2026-09-12
• 一级回顾信息论进入社会科学的曲折史：香农 1956 年亲自警告过「科学花车」，而近年大数据才让其中一部分应用重新变得可行。Entropy（Hilbert, 2020）：Information Theory for Human and Social Processes访问于 2026-09-12
• 一级主张把香农的论文与 Weaver 的导言分开：许多针对信息论的批评针对的是导言中的通俗化扭曲，不是香农的定理本身。Communication Research（1986）：Shannon and Weaver – Unravelling the Paradox of Information访问于 2026-09-12
• 一级沿 Georgescu-Roegen 的批评展开：不确定性的度量不是序数变量；把负熵等同于信息缺乏依据，跨领域套用要极其谨慎。Ecological Economics（1998）：Information, pseudo measures and entropy访问于 2026-09-12

• 支持一级信道容量定理给出任何通信系统都无法绕过的上限，并直接催生了压缩、纠错编码与整个数字通信：一个理论包办定义、极限与可达性。Bell System Technical Journal（Shannon, 1948）访问于 2026-09-12
• 支持一级大数据与算力到位后，信息论的工具在社会科学里重新可用——边界可以扩展，但不能靠类比硬套。Entropy（2020）访问于 2026-09-12
• 批评一级把熵与信息、把通信模型与社会过程直接类比，数学相似不等于概念等价；「信息」一词的多义性是大量误用的源头。Ecological Economics（1998）访问于 2026-09-12
• 批评一级香农理论处理的是信号传输效率，不含意义、语境与人的理解；把它当人类传播的完整模型，从假设上就不成立。Communication Research（1986）访问于 2026-09-12

第一，它明确不处理语义：把它当「信息／知识／意义」的普遍理论是越界，香农本人警告过。第二，定理依赖概率模型与大量重复（渐近）假设，短消息与真实约束会带来误差。第三，中文语境里「信息熵」被大量错用（社会、经济乃至人生的「熵增」），多是把物理隐喻当结论。第四，1948 年的形式没有覆盖后续分支（率失真、网络信息论、量子信息），引用时要区分是哪一层结论。第五，学习路径建议先掌握概率与对数再读原文。

• 遇到「信息量」的说法先问：这里指的是不确定性的减少（可计算的），还是含义与价值（不可计算的）？
• 做压缩或存储方案时用熵估算下限：先算数据的不确定性，再看压缩比是否还有空间。
• 引用「熵增」「信息熵」时附上适用领域——在社会科学里用，先说明假设如何成立。

1. 为什么信息量与「意思」无关？这一取舍给这套理论带来了什么好处与什么限制？
2. 信源编码定理与信道容量定理分别回答什么问题？
3. 「把负熵等同于信息」错在哪里？举一个你见过的滥用例子。

读法：第 1–5 节（信源与熵）→ 第 9–11 节（信道与容量）→ 后记（与统计力学的类比）。原文数学密度高，建议先读一本导论再回头读香农，重点看第 1 节与第 9 节。想看清边界与滥用，读 Communication Research 1986 与 Ecological Economics 1998 两篇。

• 熵站内那篇讲熵的物理含义；本篇讲的是信息熵，两者数学形式相似但概念不同——对照读能避免最常见的混淆。
• 二进制与编码二进制编码是信息论的工程落点；站内那篇讲编码怎么表示信息，正好把「比特」从概念变成可操作的东西。