应对AI胡编乱造 OpenAI称找到解决“幻觉”方法

如今，人工智能（AI）的普及带来了各种问题，例如编造虚假信息和信口开河等。近期，ChatGPT的开发商OpenAI发布了一份研究论文，提出了解决AI“幻觉”的新方法。所谓AI幻觉是指聊天机器人使用捏造的信息作出回应的现象。

聊天机器人如ChatGPT或谷歌的“巴德”（Bard）会完全虚构信息，表现得好像他们在陈述事实。举个例子，在谷歌于2月发布的巴德宣传视频中，这个聊天机器人对詹姆斯·韦伯太空望远镜作出了不真实的陈述。最近，ChatGPT在纽约联邦法院的一份文件中引用了“虚假”案例，涉案的纽约律师可能面临制裁。

OpenAI的研究人员在报告中指出：“即使是最先进的模型也容易生成谎言，在不确定的情况下，它们会倾向于捏造事实。这些幻觉在需要多步骤推理的领域尤为严重，因为一个逻辑错误足以破坏更大的解决方案。”

为了应对AI幻觉，OpenAI提出了一种新的潜在策略：训练AI模型在推理的每个正确步骤上给予自我奖励，而不仅仅在推理出正确的最终结论时才给予奖励。研究人员称这种方法为“过程监督”，与“结果监督”相对应。这种策略可能培养出更具可解释性的AI，因为它鼓励模型按照更接近人类思考方式进行推理。

OpenAI数学论文生成器（mathgen）研究员卡尔·科布（Karl Cobbe）在接受采访时表示：“检测和减轻模型的逻辑错误或幻觉是构建一致性通用人工智能（AI）的关键步骤。”他指出，虽然过程监督方法并非OpenAI发明，但该公司正在推动其发展。他说：“这项研究的动机是解决幻觉问题，使模型在解决具有挑战性推理问题方面能力更强。”

科布还提到，OpenAI已经发布了一个带有80万个人类标注的数据集，用于训练研究论文中提到的模型。