从《The Bitter Lesson》到《The Alberta Plan》：Sutton 眼中 AI 研究的长期主线
《The Bitter Lesson》是一句判断：长期来看，能随算力扩展的通用方法会赢。《The Alberta Plan》是一份纲领：既然要押注这条路，那就从持续交互的经验流出发，造一个能终身学习、持续规划的智能体。
这两篇文章经常被一起引用，但它们其实回答了两个不同层次的问题：
- 《The Bitter Lesson》（2019）回答为什么：AI 研究的方法论该押注什么；
- 《The Alberta Plan》（2022/2023）回答怎么做：如果押注这条路线，具体研究什么、按什么顺序推进。
后者的脚注直接引用了前者，把它作为“人类知识方法存在局限”的论据。所以两者的关系不是并列，而是原则与纲领的关系。
一、《The Bitter Lesson》：一条长期主义的经验判断
1.1 核心命题
Sutton 开篇给出的结论非常直接：
从 70 年 AI 研究中能读出的最大教训是：利用算力的通用方法最终最有效，而且优势巨大。
根本原因是摩尔定律，或者更广义地说，是单位算力成本持续指数下降。大多数 AI 研究隐含地假设“智能体可用的算力是固定的”——在这种前提下，把人类知识注入系统几乎是提升性能的唯一办法。但放到比一个研究项目更长的时间尺度上，海量算力必然会到来。
于是就有了那个反复出现的冲突：短期见效的人类知识路线，与长期制胜的算力路线，往往互相争夺研究者的时间与心理承诺。
1.2 四个领域的复盘
Sutton 没有做形式化证明，而是复盘了四个领域。它们的共同模式是：先用人类知识绕开搜索，最后被“搜索/学习 + 大规模算力”击败。
| 领域 | 人类知识路线 | 最终胜出的路线 |
|---|---|---|
| 国际象棋 | 人类对棋局结构的理解 | 大规模深度搜索（1997 年深蓝） |
| 围棋 | 人类棋谱、棋形、领域特例 | 搜索 + 自我对弈学习 |
| 语音识别 | 音素、词、发声器官知识 | 统计方法（HMM）→ 深度学习 |
| 计算机视觉 | 边缘、广义圆柱、SIFT 特征 | 卷积神经网络 |
围棋的例子尤其典型。早期大量研究试图借助人类知识减少搜索量，但这些努力在“搜索被有效放大”之后迅速失去意义。自我对弈学习则进一步把算力转化为能力。Sutton 由此提炼出两种最能利用大规模算力的技术：搜索与学习。
1.3 四点历史规律
原文明确列出了“惨痛教训”的四条经验：
- AI 研究者常常试图把人类知识内置进智能体；
- 这种做法短期有效，也能满足研究者“我在理解智能”的成就感；
- 但长期会进入平台期，甚至阻碍进一步进步；
- 突破最终来自相反路径——依靠搜索与学习，把算力规模化地用起来。
之所以“惨痛”，是因为最后的成功推翻了研究者偏爱、以人类为中心的研究范式，所以往往难以被坦然接受。
1.4 两个推论
第一，通用方法拥有巨大力量。真正的标准不是“现在效果好不好”，而是“算力继续增长时，它能不能继续变强”。搜索和学习之所以重要，正是因为它们可以随算力持续扩展。
第二，不要内置对世界的简化理解。空间、物体、多智能体、对称性……这些不是应该被写死的先验，而是外部世界固有复杂性的表现。应该内置的，是能够发现并逼近这种复杂性的元方法。
Sutton 的总结很精炼：
我们要的是能像我们一样去发现的 AI，而不是装着我们已有发现的 AI。
1.5 三个常见误读
误读一：人类知识永远无用。 原文明确承认，人类知识“短期总是有帮助”。它反对的不是使用知识，而是在长周期、算力持续增长的尺度上，把知识当成主要竞争力。
误读二：只要堆算力就行。 原文的重点是“方法必须能随算力扩展”，而不是“算力本身自动产生智能”。搜索和学习是当时看得到的两种可扩展载体；如果方法不能扩展，堆算力只会更快地撞上瓶颈。
误读三：这是一条自然规律。 它更像一条经验性的研究策略。四个案例存在后见之明与幸存者偏差——失败的人类知识方案，不会留下同等分量的“著名反例”。把它当作下注方向，比当作定理更稳妥。
二、《The Alberta Plan》：把教训变成 5–10 年的研究议程
2.1 定位与目标
《The Alberta Plan》由 Richard Sutton、Michael Bowling、Patrick Pilarski 合写，来自 University of Alberta、Amii 与 DeepMind Alberta。它明确说明自己是一份面向计算智能基础理解的长期计划，时间尺度是未来 5–10 年，不关心当前已知能力的即时应用，而是填补理解上的空白。
它要研究的对象是：
长寿命的计算智能体——与远比自身复杂的世界持续交互，并学会预测与控制自己的感官输入。
智能体的复杂性来自“长期面对复杂世界”，而不是初始设计复杂。初始设计要尽可能简单、通用、可扩展；为了适应变化，它必须持续学习；为了快速适应，它必须用学到的世界模型进行规划。
2.2 研究愿景的四个特征
第一，只依赖普通经验。
智能体只拥有 observation、action、reward 三条时间序列。observation 不保证包含环境的完整状态；reward 是标量，定义最终目标——最大化随时间累积的总奖励。所有学习都必须建立在这三个信号上，而不是环境内部变量。
这条主张直接排除了特殊训练集、人类标注、人类辅助，以及访问环境内部结构的特权。Sutton 并不否认这些手段能提升性能，但认为它们不能随算力扩展，因此不是研究优先级。
第二，时间一致性（temporal uniformity）。
所有时刻对算法都是平等的：没有特殊的训练期，没有“这段时间的奖励更重要”，也没有“先训练后部署”的阶段划分。如果提供训练信息，就每一步都提供；如果学习或规划，就每一步都进行；如果构建表征或子任务，元算法也每一步都运行。
这条约束把研究自然推向非平稳、持续（continuing）环境、持续学习与元学习。作者也承认，这是一种自我约束，会缩小设计空间；但他们宁愿接受这个约束，也不愿依赖“训练期/测试期”的隐含假设。
第三，计算意识。
方法要随算力成比例扩展，这是 Bitter Lesson 的直接应用。但算力永远有限，所以还要高效。文中有一个很实在的权衡：智能体需要对观察变化快速反应，但反应时间与决策质量之间存在矛盾。时间步要统一且足够小，有时“快速行动”比“行动得好”更重要；规划可以在后台异步进行，先给出一个临时动作，等规划改进策略后再做更确定的决策。
第四，包含其他智能体。
环境里可能有其他智能体，主智能体需要学习沟通、合作与竞争，并意识到环境会因自己的动作而改变。由此引出 Intelligence Amplification（IA，智能增强）：一个智能体利用自己学到的东西，增强另一个智能体的感知、行动与认知。
用一句话概括其问题定义：
在有限算力下、可能与其他智能体共存时，通过持续感知与行动，在线地最大化奖励。
作者自己评价说，这个定义“既古典又反主流”——古典在于它回到智能体与环境的交互本身，反主流在于它拒绝离线学习、预制训练集、人类辅助与无限算力。
2.3 Base Agent：四个组件
Alberta Plan 从一个标准智能体出发，它包含四个内部组件：
| 组件 | 作用 |
|---|---|
| Perception | 把历史经验更新为状态摘要（state），供其他组件使用 |
| Reactive policies | 主策略选择动作；也可以有其他策略，每个策略配一个价值函数 |
| Value functions | 学习并评估各策略对应的价值 |
| Transition model | 学习世界动力学，可做时间抽象，用模型进行规划 |
运行方式是“前台 + 后台”：感知、主策略、价值函数每一步都要运行；规划在后台异步、持续进行，通常一步内做不完。所有组件都可以学习。
作者明确指出，感知与规划是理解最不充分的两块：感知应该如何学习或元学习，规划如何在近似、时间抽象与随机性下有效进行，都仍是开放问题。
2.4 十二步路线图
十二步不是一条必须顺序走完的直线，而是一张有依赖关系的路线图。研究者可以从任意一步切入，也可以并行推进。
| 阶段 | 步骤 | 内容 |
|---|---|---|
| 表征 | 1–2 | 固定特征下的持续监督学习（元学习步长、归一化）→ 监督式特征发现 |
| 预测 | 3、5 | 持续 GVF 预测 → 平均奖励下的 GVF |
| 控制 | 4、6 | 持续 actor-critic → 持续控制问题与测试环境 |
| 规划 | 7、9 | 平均奖励下的增量规划 → search control 与探索 |
| 原型 | 8、10、11 | 一步模型 + 持续函数逼近的 Dyna 式原型 → STOMP → Oak |
| 增强 | 12 | Prototype-IA：计算外小脑 / 计算外皮层 |
几个值得记住的概念：
- GVF（Generalized Value Function）：把价值函数推广到对各类非奖励信号的时序预测，是持续预测学习的基础。
- STOMP：SubTask → Option → Model → Planning。把高价值特征变成子任务，子任务解出 option，再为 option 学习模型，最后用于规划。
- Oak：在 STOMP 之上增加效用反馈回路，持续评估特征、子任务、option 与模型的价值，淘汰无用元素、换入新元素。状态抽象与时间抽象都在持续变化。
- Option keyboard：用向量“和弦”组合多个 option，让技能可以按强度组合，而不是一次只能调用一个。
- IA：先做偏预测与特征构造的“计算外小脑”，再做能形成策略、用规划成倍增强伙伴的“计算外皮层”。
方法论上最值得学的一点，是 “把问题放到它出现的最简单设定里，彻底解决，再推广”。Step 1 甚至只做“给定线性特征的持续监督学习”，先把步长元学习、归一化这些看似琐碎但普遍的问题打透。作者也坦承“部分与整体”的鸡生蛋困境：没有完整系统就不知道需要哪些组件，没有组件又建不成完整系统，只能并行推进，并接受一定浪费。
三、两篇文章的对照
| 维度 | The Bitter Lesson | The Alberta Plan |
|---|---|---|
| 性质 | 观点随笔 | 研究纲领 |
| 时间尺度 | 回看 70 年 | 前瞻 5–10 年 |
| 核心主张 | 可扩展的通用方法最终胜出 | 用持续学习与规划造长寿命智能体 |
| 对人类知识 | 长期不优先 | 明确不优先，只保留元方法 |
| 关键方法 | 搜索 + 学习 | 持续学习、GVF、平均奖励、options、基于模型的规划 |
| 成功标准 | 性能随算力持续提升 | 完整原型系统 + 对智能的理解 |
可以把两者的关系概括为：
Bitter Lesson 给出“不要做什么”和“该押什么”；Alberta Plan 给出“具体怎么做、先做哪一步”。
四、几点批判性看法
第一，可证伪性较弱。 5–10 年、没有统一基准，“没做出来”既可能是路线错，也可能只是时间不够。这使该纲领更像一种研究品味的表达，而不是可严格检验的科学假说。
第二，与当前主流路线几乎平行。 今天的大模型靠海量人类文本、监督信号与离线训练取得成功。这既可以读作“学习 + 算力”的胜利，是 Bitter Lesson 的延伸；也可以读作“人类知识仍然极其重要”，构成对 Bitter Lesson 的反例。Alberta Plan 更彻底：拒绝特殊训练集与人类辅助，走的是另一条分支。它的价值恰在于研究主流范式不处理的问题——非平稳、持续学习、平均奖励、在线规划。
第三，“算力终将变多”是趋势判断，不是每个团队的现实。 在算力、数据受限的场景，领域先验仍然是高杠杆的。把 Bitter Lesson 教条化成“先验一律不写”，会走向另一个极端。
第四，最有实践价值的部分是“元方法”思想。 不要把自己的发现焊进系统，而要投资那些能随经验、数据、算力持续变好的机制——学习、搜索、反馈闭环、自动调参、持续评估与淘汰。这一点对做工程系统同样成立。
五、结语
《The Bitter Lesson》之所以“惨痛”，是因为它要求研究者放弃一种很自然的冲动：把自己对世界的理解写进系统。它给出的替代方案并不轻松——承认世界的复杂性无法被简单编码，然后去造能够自己发现复杂性的方法。
《The Alberta Plan》则把这种克制推进到了架构层面：只给智能体三条信号，让它在每一步都学习、每一步都规划，在持续交互中自己长出状态、技能与模型。
两篇文章合起来，其实是一句很朴素的话：
不要试图替智能体理解世界，而要给它理解世界的能力。
至于这条路是否正确，可能还需要另一个十年才能回答。但至少，它把“为什么这样下注”和“下注之后做什么”都说得足够清楚了。