“o1 的发布标志着一个新纪元的开始。”
OpenAI 的研究科学家、o1 的重要贡献者 Hyung Won Chung 最近在 MIT 的一次演讲中分享了这一观点。
演讲主题为“激励而非教授”，其核心思想是：
激励 AI 自我学习比试图教会 AI 每一项具体任务更为重要。
思维链的作者 Jason Wei 也对此表示赞同，称赞道：
Hyung Won 能够识别出这一新范式，并毫不犹豫地放弃沉没成本的能力让我深感钦佩。
自 2022 年底以来，他就一直在强调强化学习的重要性。
在演讲中，Hyung Won 进一步阐述了：
技术人员往往过于关注解决具体问题，而忽视了识别重大问题的重要性；
硬件的进步以指数级速度增长，但软件和算法必须跟上这一步伐；
当前存在一个误区，即人们试图让 AI 学会像人类一样思考；
“单纯扩展规模”在长期内往往更为有效；
……
以下是演讲的主要内容。
对待 AI：授人以鱼不如授人以渔
首先，简单介绍一下 Hyung Won Chung。从 o1 的核心团队名单来看，他是推理研究的重要贡献者。
资料显示，他拥有 MIT 的博士学位，研究方向为可再生能源和能源系统，并于去年 2 月加入 OpenAI，担任研究科学家。
在加入 OpenAI 之前，他在 Google Brain 负责大语言模型的预训练、指令微调、推理和多语言训练等工作。
在谷歌任职期间，他以第一作者身份发表了关于模型微调的研究论文，Jason Wei 也是该论文的共同作者。
回到演讲主题，Hyung Won 首先指出：
实现 AGI 唯一可行的方法是激励模型，使其具备通用技能。
他认为，AI 领域正在经历一次范式转变，从传统的直接教授技能转向激励模型自我学习和发展通用技能。
原因显而易见，AGI 涉及的技能数量庞大，无法一一教授。（主张以不变应万变）
那么，如何激励呢？
他以预测下一个 token 为例，说明这种弱激励结构如何通过大规模多任务学习，鼓励模型学习解决数万亿个任务的通用技能，而非单独解决每个任务。
他观察到：
如果以尽可能少的努力解决数十个任务，单独识别每个任务可能是最简单的；
但如果要解决数万亿个任务，通过学习通用技能（如语言和推理）可能会更有效。
对此，他打了个比方，“授人以鱼不如授人以渔”，采用基于激励的方法来解决任务。
Teach him the taste of fish and make him hungry.（教 AI 尝尝鱼的味道，让他饿一下）
这样，AI 就会主动去“钓鱼”，在这个过程中，AI 将学习其他技能，比如耐心、阅读天气、了解鱼类等。
这些技能是通用的，可以应用于其他任务。
面对这种“循循善诱”的过程，或许有人会认为直接教授更为高效。
但在 Hyung Won 看来：
对于人类来说确实如此，但对于机器，我们可以通过提供更多计算来缩短时间。
换句话说，面对有限的时间，人类可能需要在专家与通才之间做出选择，但对于机器来说，算力能够创造奇迹。
他举了一个例子，《龙珠》中有一个设定：在特殊训练场所，角色能在外界感觉仅一天的时间内获得一年的修炼效果。
对于机器来说，这种感知差异要高得多。
因此，具有更强计算能力的通才通常比专家在特定领域更为出色。
原因也很简单，大型通用模型能够通过大规模训练和学习，快速适应并掌握新的任务，而无需从头开始训练。
他还补充道，数据显示计算能力大约每五年提高十倍。
总结而言，Hyung Won 认为关键在于：
模型的可扩展性
算力对加速模型进化至关重要
此外，他指出当前存在一个误区，即人们试图让 AI 学会像人类一样思考。
但问题在于，我们并不清楚自己在神经元层面是如何思考的。
机器应当拥有更多自主选择学习方式的权利，而不是被限制在我们人类理解的数学语言和结构中。
在他看来，过于依赖人为设定的规则和结构的系统或算法，可能难以适应新的、未预见的情况或数据。
这将导致在面对更大规模或复杂问题时，其扩展能力受到限制。
回顾 AI 过去七十年的发展，他总结道：
AI 的进步与减少人为结构、增加数据和计算能力密切相关。
与此同时，针对当前人们对 scaling Law 的质疑，即认为单纯扩大计算规模可能不够科学或有趣，Hyung Won 的看法是：
在扩展系统或模型的过程中，我们需要识别那些阻碍扩展的假设或限制条件。
例如，在机器学习中，一个模型可能在小数据集上表现良好，但当数据量增加时，模型的性能可能会下降，或者训练时间变得不可接受。
这时，可能需要改进算法，优化数据处理流程，或调整模型结构，以适应更大的数据量和更复杂的任务。
也就是说，一旦识别出瓶颈，就需要通过创新和改进来替换这些假设，以便模型或系统能够在更大规模上有效运行。
训练与推理：效果相似，推理成本却便宜 1000 亿倍
除了上述内容，o1 的另一位核心作者 Noam Brown 也分享了一个观点：
训练与推理对模型性能提升的作用相似，但后者的成本却低得惊人，便宜 1000 亿倍。
这意味着，在模型开发过程中，训练阶段的资源消耗极为庞大，而实际使用模型进行推理时的成本则相对较低。
有人认为这凸显了未来模型优化的潜力。
不过也有人对此持怀疑态度，认为二者根本无法进行比较。
这是一个奇怪的比较。一个是边际成本，另一个是固定成本。这就像说实体店比其中出售的商品贵 500000 倍。
对此，你怎么看？
Hyung Won Chung 演讲 PPT：
https://docs.google.com/presentation/d/1nnjXIuN2XDJENAOaKXI5srQscO3276svvP6JgivTv6w/edit#slide=id.g2d1161c9c52_0_20
