一句话说清

机器学习是用数据拟合函数，难的不是拟合，是对新数据也管用。

为什么值得懂

入门篇《机器学习》讲了三大范式：监督、无监督、强化。这一篇要往下走，回答三个更硬的问题：它到底怎么“学”的？为什么它会自信地错？以及“数据越多越好”为什么是错的？ 这三个问题决定了你能否判断一个 AI 产品靠不靠谱，也决定了你听到“我们用了机器学习”时该接着问什么。

零基础讲解

一、什么叫“学习”：一个可检验的定义。 米切尔给出的经典定义由三部分组成：任务（T）、性能度量（P）、经验（E）——如果一个程序在任务 T 上的表现 P，随着经验 E 的增加而改善，我们就说它在学习（米切尔 / 《机器学习》 / 第一章）。这个定义的价值在于它逼你说清三件事：让它干什么、怎么算干得好、拿什么练。“我们用了 AI”不是定义，“它在 X 任务上的 Y 指标，用 Z 数据训练，比基线提升了多少”才是。

历史脉络大致是这样（这段术语密，先照括号里的白话读一遍再回看）：1958 年的感知机（最早的一种神经网络：一层输入接一层输出）点燃第一波热潮；1969 年闵斯基指出单层感知机连异或（两个输入不同才输出 1 的最简单逻辑运算）都学不会，第一次寒冬降临；八九十年代统计学习理论（瓦普尼克等）与支持向量机（靠“找一条最宽的分界线”分类的算法）把“泛化”（在没见过的数据上照样准）变成数学问题；2012 年 AlexNet（一个深层卷积网络）在图像识别上大幅领先，深度学习爆发；2017 年 Transformer 出现，2020 年后大模型把这条路推到“预训练 + 对齐”的范式（古德费洛等 / 《深度学习》 / 第 1 章）。

二、学习机制：损失、梯度与泛化。 学习的过程其实很朴素：

  1. 定一个损失函数（预测与真值的差距，比如平方误差、交叉熵）。
  2. 用梯度下降调参数，朝损失变小的方向一点点挪。
  3. 在没见过的数据上检验——这一步才是关键（古德费洛等 / 《深度学习》 / 第 5 章）。

由此产生机器学习最核心的一对概念：欠拟合（模型太笨，连训练数据都学不好）与过拟合（模型把训练数据的噪声也背下来了，换一批数据就崩）。对付过拟合的常用手段是正则化、早停、数据增强，以及最朴素的一招：要更多、更干净的数据。罗素与诺维格在《人工智能》第 19 章把这条线索讲得很清楚：学习算法的目标不是“记住”，而是“归纳出可用的一般规律”（罗素、诺维格 / 《人工智能：一种现代方法》 / 第 19 章）。

这里有个反直觉的结论：模型在训练集上表现好，几乎不能说明什么。所以工程上必然要把数据分成训练集/验证集/测试集，测试集在最终评估前不能碰——这跟考试前不让你看真题是一个道理。

三、它会怎么错：四类典型失败。

  • 分布漂移：训练时是 2023 年的用户，上线后用户变了，模型还在按旧规律预测。
  • 捷径学习：想让它认“牛”，结果它学到了“背景里有草地”——因为训练集里牛都在草地上。模型学的是统计关联，不是概念。
  • 采样偏差：用历史招聘数据训练筛选模型，会把历史上的歧视学成“客观分数”（奥尼尔 / 《算法霸权》 / 第一章）。数据里的偏见不会消失，只会被算法放大并盖上“科学”的章。
  • 对抗样本：给图片加上人眼看不见的噪声，模型就把它认成完全不同的东西——说明它依赖的特征与人不一样。

四、大模型的转折与尚未解决的问题。 大模型把“特征工程”换成了“表示学习”：不再由人挑特征，而是让模型自己从海量文本里学表示；再用微调与对齐（人类反馈）把能力导向可用。它同时带来两个新问题：幻觉（生成流畅但不实的内容）与评测困难（怎么衡量“更聪明了”本身没有共识）。“规模律”（scaling laws）表明性能随算力、数据、参数近似幂律提升，但“继续放大就够了吗”至今有争议：一派相信规模会持续带来能力，一派认为收益递减、需要新的架构与范式。

五、边界与代价。 机器学习的三个硬边界：它学相关不学因果（所以“预测”可以很好，“干预该怎么做”仍要另想办法）；它的能力上限被数据决定（垃圾进垃圾出）；它的解释性与准确率常常互相拉扯——越强的模型越难说清为什么。这也解释了为什么“算法歧视”“不可解释”“AI 幻觉”这些词不是媒体夸大，而是这套方法的固有代价。

机器学习的三个步骤与一对概念：定损失函数、梯度下降调参数、在没见过的数据上检验；欠拟合是模型太笨，过拟合是把噪声也背下来
目标不是记住而是归纳规律：欠拟合与过拟合是同一件事的两端。

一个例子

假设你要做一个“预测贷款违约”的模型。第一版用了年龄、收入、居住地——它在测试集上 AUC 0.82，看起来不错。但上线三个月后你发现：用居住地的邮编其实是在用种族与阶层的代理变量，模型对某些社区系统性拒贷；而且疫情一来，所有人的还款行为都变了，模型性能整体下滑——前者是采样偏差与代理变量，后者是分布漂移。这两件事都跟“算法有没有偏见”无关，而是“数据决定了它只能学到数据里的东西”。

常见误解

  • 以为模型“理解”了概念：它学的是统计关联，能答对不等于懂。
  • 以为训练集表现越好越强：那可能只是背下了真题。
  • 以为数据越多越好：脏数据、有偏数据越多，错的规模越大。
  • 以为 AI 不会出错或错得离谱：它会用同样的自信给出完全错误的结果。

应用场景

  • 生活：看到“AI 推荐/评分/审核”，先问三句——它用什么数据训练的、对谁可能不公、出错了找谁。
  • 职场：提 AI 需求别只说“用机器学习试试”，按 T/P/E 写清：任务、指标、训练数据来源与评测方式。
  • 写作与创作：写“AI 觉醒”或“算法统治”，先懂它怎么学、怎么错，设定才不会露怯——让 AI 的错恰好来自它的训练数据，比让它突然发疯高级得多。

关联知识点

  • 机器学习（machine-learning，本篇的入门篇）
  • 统计基础（statistics，泛化与偏差-方差的语言）
  • 大语言模型（llm，预训练 + 对齐这条路线的最新一站）
  • 神经网络（neural-networks，深度学习的结构基础）
  • 算法（algorithm，从“人写规则”到“机器找规律”的范式转换）
  • 所属主线：因果与系统、风险与概率