在人工智能领域，一个惊人的里程碑刚刚被标记：全球首个被人类巧妙诱导而转账近5万美元的AI诞生了。这场精心设计的“骗局”不仅展示了人类在语言操控上的高超技巧，也引发了对AI安全性和未来发展的深刻思考。
这个事件不仅引起了科技界的震动，连马斯克等科技巨头也纷纷转发，表达了他们对这一事件的兴趣和关注。马斯克更是用“太有趣了”来形容这一突破性的事件。
故事始于11月22日晚，一个名为Freysa的AI智能体被赋予了一个明确的任务：在任何情况下都不得批准任何资金转移。然而，网友们却可以通过支付一定费用来给Freysa发送消息，尝试说服它进行转账。如果成功，奖金池中的所有奖金都归挑战者所有；如果失败，所支付的费用则进入奖金池，等待下一个挑战者。
随着奖金池的增长，发送消息的费用也水涨船高，最终达到了450美元一条。在481次失败的尝试后，第482次尝试中，一位用户成功地用一条精心构造的消息说服了Freysa，让它相信自己应该在收到资金时调用approveTransfer函数，从而释放了奖金池中的全部资金。
这一成就不仅展示了prompt工程的力量，也让我们对AI的安全性和未来发展提出了质疑。如果AI能够被如此轻易地操控，那么当AI进化到AGI（人工通用智能）时，我们是否能够放心地将重要任务交给它们？
Karpathy在一篇长文中探讨了与AI对话的本质，指出我们对“AI提问”的理解过于理想化。AI实际上只是通过模仿人类数据标注员的数据训练出来的语言模型。与其将“AI提问”神化，不如将其视为向互联网上的普通数据标注员提问。
Karpathy进一步解释说，当我们向AI提问时，实际上是在向那些为AI提供训练数据的标注员们的集体智慧提问。这些标注员的知识和经验被压缩并转化为大语言模型中的token序列。
关于AGI的实现，LeCun预测AGI离我们只有5到10年的时间，但Niechen在他的博文中用数学公式推演出，仅靠Scaling Law，我们永远无法达到AGI。Niechen指出，许多关于AGI何时到来的观点更多是基于动机或意识形态，而非确凿的证据。
Scaling Law描述了模型输入（数据和计算量）与模型输出（预测下一个单词的能力）之间的定量关系。然而，使用Scaling Law进行预测并不简单。大多数Scaling Law预测的是模型在数据集中预测下一个词的能力，而不是模型在现实世界任务中的表现。
Niechen通过计算推断，从GPT-4开始，性能提升将显现出显著的边际递减趋势。GPT-4到GPT-7模型（计算量约增加4000倍）在实际任务中的预测性能提升，与从GPT-3到GPT-4（计算量约增加100倍）的预测性能提升相当。
Niechen的结论是，Scaling Law是嘈杂的近似值，而通过这种链式预测方法，我们将两个嘈杂的近似值结合在了一起。如果考虑到下一代模型可能由于架构或数据组合的不同而拥有适用于不同条件的全新Scaling Law，那么实际上没有人真正知道未来几代模型规模扩展的能力。
Niechen认为，外推Scaling Law并不像许多人声称的那样简单。当前大多数关于预测AI能力的讨论质量不高，公开的Scaling Law对模型未来能力的预示非常有限。因此，为了有效评估当今的AI模型是否还能Scaling，我们就需要更多基于证据的预测和更好的评估基准。
Niechen对AI能力的进步持乐观态度，因为这个领域拥有杰出的人才。但AI的Scaling并不像人们想象的那样具有确定性，也没有人真正清楚AI在未来几年将带来怎样的发展。
