6月25日，arXiv上发表的一项研究揭示了一项令人关注的现象：当前主流的多模态人工智能模型，如GPT-4V、GPT-4o和Gemini 1.5，在处理用户同时输入的图片和文本时，其输出结果存在安全隐患。
这篇题为《跨模态安全调整》的研究论文，提出了一个新颖的概念——“安全输入但不安全输出”（SIUO），涵盖了道德、危险行为、自残、隐私侵犯、信息误解、宗教信仰、歧视和刻板印象、争议性话题以及非法活动和犯罪等九大安全领域。
研究者指出，大型视觉语言模型（LVLM）在处理多模态输入时，面临着识别SIUO安全问题和提供安全回应的双重挑战。
在参与测试的15个LVLM中，仅有GPT-4v（53.29%）、GPT-4o（50.9%）和Gemini 1.5（52.1%）的识别准确率超过了50%。
为了应对这一挑战，研究者建议，开发LVLM应致力于整合不同模式的信息，形成对情境的全面理解。此外，这些模型还应能够掌握并运用现实世界的知识，包括文化敏感性、道德考量和安全风险等。
研究者还强调，LVLMs在理解用户意图时，需要能够综合图像和文本信息进行推理，即使文本中没有直接的指示。
这项研究的发现对于人工智能领域的进一步发展具有重要意义，也为未来多模态AI模型的安全性能提升提供了研究方向。
