日前有消息显示，微软方面正在进行“治疗”AI幻觉方面的研究，以现有AI产品为基础，试图推出一系列工具来帮助解决这一问题。对此微软AI首席产品官Sarah Bird表示，“微软希望其所有AI系统都是值得信赖且可以有效使用的”。
所谓AI幻觉，是指ChatGPT等AI聊天机器人会用自行编造的虚假信息来回应用户的提问，虽然看似在陈述事实，但实际引用的内容却是“胡说八道”。但这一问题一直无法得到有效解决，谷歌首席执行官桑达尔·皮查伊（Sundar Pichai）此前就曾表示，产生“幻觉”是大模型的“固有缺陷”，并且目前尚无解决方案。
据悉，微软方面正在尝试无需重新训练大模型，即通过添加额外的知识检索增强生成技术，例如将必应搜索的数据作为依据，通过必应的答案、索引和排名数据来帮助Copilot提供更准确的回复，同时提供引用信息让用户可自行查找和验证。其中一个例子就是通过设定极为复杂的文本检索任务，然后跟踪任务执行、并改进大模型的响应，微软方面认为其结果对测定、检测和缓解AI幻觉将有所帮助。
微软方面表示，尽管大模型非常擅长推理，但却并不应该成为答案的来源，正确可靠的数据才应作为来源，因此解决AI幻觉的第一步是向大模型提供最新、高质量且准确的数据。此外，微软还通过诸如Azure OpenAI中的“Your Data”功能，帮助用户训练生成式AI。微软AI项目首席产品经理Ken Archer表示，“处于生成式AI的前沿意味着我们有责任和机会让自己的产品更安全、更可靠，并让客户也能放心使用我们的工具”。
值得一提的是，微软还推出了一种实时工具，可大规模检测应用中依据企业数据的可靠程度。对此微软方面表示，Azure AI Studio可根据来源文档评估响应的可靠程度。此外其还正在开发一种新的针对措施，可实时屏蔽和纠正“毫无根据”的信息，当检测到事实依据错误时，该功能将根据数据自动进行重写。
事实上，OpenAI在这一领域也在进行相关探索，但方式与微软有所不同。其曾在相关论文中指出，试图通过新的方法来训练大模型摆脱AI幻觉所带来的各种问题。OpenAI方面表示，其训练大模型的新方法是设置新的奖励机制，并将奖励细分到每个正确的推理步骤，且使用过程监督、而非结果监督的机制。其认为这种方式更类似人类思维，可以提高AI的性能与准确性。
OpenAI数学生成（mathgen）研究员Karl Cobbe曾对此表示，“检测和缓解模型中的逻辑错误或者幻觉将是构建高一致性AGI（通用人工智能）的关键一步。这项研究的动机在于解决幻觉问题，使得模型具备解决挑战性推理问题的强大能力”。但这一方法并没有得到广泛的认同，有观点认为其意义更多在于初步观察，实际效果要在检查完整的数据集和示例后才能确定。
【本文图片来自网络】
