一句话说清
统计是从样本反推总体,并给这个推断标上不确定的范围。
为什么值得懂
入门篇《统计基础》给了三件套:描述、推断、判断关系。但它停在「有这三件事」的层面:你知道有它们,却不知道各自成立的条件,也不知道它们从哪场争论里长出来。这一篇把骨架装回去:回归和显著性是谁发明的、p 值承诺了什么、为什么样本越大反而越容易错,以及统计与概率的方向之别。
零基础讲解
一、历史脉络:四个零件,四十年装好。 第一个是回归。高尔顿测量父子身高时发现,高个子父亲的儿子平均也高,却没有父亲那么高——身高朝平均值「回归」(弗朗西斯·高尔顿 / 论文《遗传身高的平庸回归》 / 载《英国与爱尔兰人类学研究所杂志》1886 年第 15 卷)。这既是回归分析的起点,也是「回归均值」这个陷阱的来源。
第二个是卡方。皮尔逊 1900 年给出一个可计算量,回答「一组观测和某个假设之间,差的算不算多」(卡尔·皮尔逊 / 论文《论相关变量系统中一组偏差可被合理认为来自随机抽样的准则》 / 载《哲学杂志》1900 年第 50 卷第 302 期)。
第三个是小样本。戈塞特以「学生」为笔名处理啤酒厂的小样本数据,给出后来叫 t 分布的修正——样本小不是不能下结论,而是结论的不确定范围要变宽(威廉·西利·戈塞特(笔名「学生」) / 论文《平均数的或然误差》 / 载《生物计量学》1908 年第 6 卷第 1 期)。
第四个是显著性检验。费希尔 1925 年的《研究工作者的统计方法》把拟合优度检验、平均数之差的检验和方差分析写成手册式流程(罗纳德·费希尔 / 《研究工作者的统计方法》 / 第五章「平均数、平均数之差与回归系数的显著性检验」);八年后,奈曼与皮尔逊把它改造成决策程序:设原假设与备择假设,承认第一类、第二类错误都不可避免,再在给定风险下挑最有效的检验(耶日·奈曼、埃贡·皮尔逊 / 论文《论最有效的统计假设检验问题》 / 载《伦敦皇家学会哲学汇刊 A 辑》1933 年第 231 卷)。两套思路始终没完全合流,这正是今天 p 值争议的源头。
二、核心机制:三件事,共用一套关于「不确定」的语言。 描述是把一堆数压成几个数——平均数、中位数、标准差和分布形状。平均数只有在分布不太偏斜时才是「典型值」;收入、房价、住院天数这类右偏分布里,中位数更接近多数人。
推断是把样本当成总体的缩样,再算「样本统计量会怎么飘」。样本均值的标准误约等于标准差除以样本量的平方根:样本量翻四倍,误差才减半。置信区间说的是这套程序的长期覆盖率——反复抽样,约 95% 的区间会盖住真值。
判断关系是问两个一起变的东西里,有没有一个是原因。相关不等于因果;能直接买到的因果证据主要是随机化实验。
三件事共用一个前提:说清样本从哪来、模型假定什么、允许误差多大。统计结论永远是条件句。
三、失效边界:抽样方式错了,规模只会放大错误。 第一条在样本来源。1936 年大选的模拟投票是标准反例:靠读者自愿回寄问卷,《文学文摘》拿到当时规模空前的样本,预测兰登获胜;盖洛普用远小得多的配额样本预测罗斯福获胜,结果罗斯福赢了。斯奎尔复盘后指出,问题不在样本量,而在样本从哪来——愿意回寄问卷的人本身就有偏(佩弗里尔·斯奎尔 / 论文《1936 年〈文学文摘〉民意调查为何失败》 / 载《舆论季刊》1988 年第 52 卷第 1 期)。
第二条在「数据量大」。谷歌流感趋势曾是大数据样板:用搜索词预测流感就诊比例。拉泽等人复盘发现,它在实际流感季高估了就诊比例,模型还在更新中漂移;数据规模不会自动修复抽样与建模的偏差(戴维·拉泽、瑞安·肯尼迪、加里·金、亚历山德罗·韦斯皮尼亚尼 / 论文《谷歌流感的寓言:大数据分析中的陷阱》 / 载《科学》2014 年第 343 卷第 6176 期)。
第三条在多重比较。检验做得越多,撞上「显著」的概率越大。约安尼迪斯论证过:在样本小、效应小、检验多、利益冲突多的领域,发表的阳性结果多数是错的(约翰·约安尼迪斯 / 论文《为什么多数发表的研究发现是错的》 / 载《公共科学图书馆·医学》2005 年第 2 卷第 8 期)。
第四条在「统计显著」与「实际显著」之间:样本足够大时,一点微不足道的差异也会显著,美国统计学会 2016 年的声明第一条就是这个意思(罗纳德·沃瑟斯坦、妮可·拉扎尔 / 论文《美国统计学会关于 p 值的声明:背景、过程与目的》 / 载《美国统计学家》2016 年第 70 卷第 2 期)。
四、与相邻概念的分界。 第一,统计与概率。概率从模型推数据:骰子公平,所以每个点数约六分之一。统计从数据反推模型:不知道骰子公不公平,用一百次结果判断。方向相反,公式常长得一样。
第二,描述统计与推断统计。描述只是压缩,不需要概率模型;推断必须假定一个数据生成过程,才有「误差」可言。把描述当成推断,就会出现「我们调查了全部用户,所以结论一定对」——如果这些人不是你想推广的人群,覆盖率再高也没用。
第三,统计显著与效应量。前者回答「这个差异能不能用巧合解释」,后者回答「这个差异有多大」。新闻里最常见的错位,是拿前者暗示后者的意义。
有争议。 要不要保留「统计显著」这道门槛,学界分成两方。一方主张停用二分说法:2019 年《自然》上数百位研究者联署的评论呼吁放弃「显著/不显著」的标签,改报效应量与置信区间(瓦伦丁·阿姆莱因、桑德尔·格林兰、布莱克·麦克沙恩 / 论文《科学家们起来反对统计显著性》 / 载《自然》2019 年第 567 卷第 7748 期)。另一方认为问题不在阈值而在滥用:美国统计学会 2016 年的声明没有要求禁用 p 值,而是给出六条原则(沃瑟斯坦、拉扎尔 / 《美国统计学家》2016 年第 70 卷第 2 期)。主流观点是「别把 p 小于 0.05 当成结论成立的开关」,但该不该废除阈值仍然存疑。
一个例子
一个反例:写在飞机上的弹孔。 二战期间,美国统计研究组的沃德接到一个问题:返航的轰炸机弹孔分布不均,机翼和机身中段多,发动机和驾驶舱附近少——该加固中弹最多的部位吗?
沃德的回答相反:该加固的是弹孔少的地方。返航的飞机是一批「活下来的样本」:机身中弹还能飞回来,说明那里扛得住;发动机和驾驶舱几乎没有弹孔,不是那里不会中弹,而是打中那里的飞机回不来(亚伯拉罕·沃德 / 报告《基于幸存者损伤估计飞机易损性的方法》 / 哥伦比亚大学统计研究组 1943 年)。这是统计里最贵的一课:你手里的数据经过了筛选,而筛选规则不在数据里。
常见误解
- 以为平均数是多数人的处境:右偏分布里,中位数才代表典型值。
- 以为置信区间是「真值落在这里的概率」:95% 说的是程序的长期覆盖率,不是这一次。
- 以为样本越大越准:抽样错了,规模只会把偏差放大。
- 以为 p 值小说明效应大:样本一多,什么都显著。
应用场景
- 生活:看到「上升 50%」,先找基数和绝对人数;拿到体检报告的异常值,先问参考区间和假阳性率。
- 职场:汇报带三样东西——分母、区间、口径;把「平均耗时 3 天」换成「中位数 2 天,最慢两成超 7 天」。
- 写作与创作:写调查报道,用一句话交代抽样方式;写受骗的角色,让他只盯着百分比、忘了问分母。
关联知识点
- 统计基础(statistics,本篇的入门篇,先读它拿到描述、推断、判断关系这三件套)
- 期望值(expected-value,长期平均是统计里最容易被误读的一个数)
- 贝叶斯更新(bayesian-updating,统计的另一条路线:从先验出发,用数据更新)
- 相关与因果(correlation-causation,判断关系那一步靠它兜底)
- 幸存者偏差(survivorship-bias,沃德那架飞机就是它的原型)
- 所属主线:风险与概率、语言与意义