7月31日，随着人工智能技术的飞速发展，大模型在多个领域扮演着越来越重要的角色。它们在翻译、文章总结乃至金融诈骗识别等任务中展现出了强大的能力。然而，这些模型偶尔也会给出错误的答复，并且对这些错误答案过于自信，对正确答案却显得信心不足，这不禁让人们对它们的可靠性产生了疑问。
MIT NEWS的最新报道显示，麻省理工学院联合MIT-IBM Watson AI Lab的研究团队开发了一种创新的校准方法，专门为大型语言模型设计。这种方法被形象地称为“温度计”，其核心思想是在大型语言模型的基础上，构建一个较小的辅助模型来进行校准。
这种“温度计”方法不仅计算需求较低，而且能够在保持模型准确性的同时，对未见过的任务做出更加精准的校准预测。通过高效地校准大型语言模型，它能够帮助用户识别模型在错误预测上的过度自信，防止在潜在的失败场景中使用这些模型。
论文的第一作者，麻理工学院电子工程与计算机科学的研究生沈茂豪（音译）指出，“我们的目标是为用户提供一个清晰的指示，告诉他们模型的答复是否准确，反映模型的不确定性，从而判断模型的可靠性。”
“温度计”技术采用了一种名为“温度缩放”的经典校准方法，通过调整模型的“信心”水平以匹配其预测的准确性，为新任务进行有效的校准。在这个框架下，“温度”是一个关键的缩放参数，用于调整模型的置信度。
研究团队训练了一个辅助模型，它能够在大型语言模型的基础上运行，自动预测新任务所需的“温度”。通过访问大型语言模型内部的一小部分，该“温度计”能够预测出特定任务数据点的正确“温度”，从而实现精准校准。
团队期望未来“温度计”能够支持更复杂的文本生成任务，并计划将其技术扩展到更大规模的大型语言模型中。
参考
-
Thermometer: Towards Universal Calibration for Large Language Models
