7个热门大模型测试：数感小测验全都栽了跟头

这类大模型出现幻觉的现象，在业界被称为"大模型幻觉"。

此前，哈尔滨工业大学和华为的研究团队发表的综述论文认为，模型产生幻觉的三大来源是：数据源、训练过程和推理。大模型可能会过度依赖训练数据中的一些模式，如位置接近性、共现统计数据和相关文档计数，从而导致幻觉。此外，大模型还可能会出现长尾知识回忆不足、难以应对复杂推理的情况。

一位算法工程师认为，生成式的语言模型更像是文科生而不是理科生。实际上，语言模型在训练过程中学到的是相关性，这使得AI在文字创作上能够达到人类平均水平，但数学推理更需要的是因果性。数学是高度抽象和逻辑驱动的，与语言模型处理的语言数据在本质上有所不同。这意味着大模型要学好数学，除了学习世界知识外，还应该有思维的训练，从而具备推理演绎能力。

中国社科院新闻与传播研究所所长胡正荣也指出，大模型虽然是语言模型，但这个语言并不是人们通常理解的字面意思，音频、解题等都是大模型可以做的。从理论上看，数学大模型这个技术方向是可行的，但最终结果如何，取决于两个因素：一是算法是否足够好，二是是否有足够量的数据做支撑。"如果大模型的算法不够聪明，不是真正的数学思维，也会影响到答题的正确率。"

实际上，对于大模型来说，对自然语言的理解是基础。很多数理化的专业知识并不是大模型的强项，并且很多大模型是利用搜索把之前已有的解题经验和知识推理相结合，可以理解为在搜索内容上进行理解。如果搜索内容本就是错误的，那么大模型给到的结果必然错误。

值得一提的是，大模型的复杂推理能力尤为重要，这关乎可靠性和准确性，是大模型在金融、工业等场景落地需要的关键能力。现在很多大模型的应用场景是客服、聊天等，在聊天场景一本正经胡说八道影响不太大，但它很难在非常严肃的商业场合去落地。

随着技术的进步和算法的优化，我们期待大模型能够在更多领域发挥其潜力，为人类社会带来更多实际价值。但通过这次对国内主流大模型的简单测试，也警示我们，在依赖大模型进行决策时，必须保持谨慎，充分认识到其局限性，并在关键领域加强人工审核和干预，确保结果的准确性和可靠性。毕竟，技术的最终目的是服务于人，而不是取代人的思考和判断。