幻觉 (人工智能)

在自然语言处理中，幻觉通常被定义为“生成的内容相對於被提供的源内容而言是无意义或不可信的”。文本和表达之间的编码和解码错误会导致幻觉。产生不同反应的人工智能训练也可能导致幻觉。当 AI 在数据集上进行训练时，也会出现幻觉，其中标记的摘要尽管事实上准确。在GPT-3等系统中，人工智能会根据之前的一系列单词（包括它自己先前回应过的单词）生成下一个单词，随着对话时长的增加，可能会不断地产生幻觉。 [1]到2022年， 《纽约时报》等报纸表示担心，随着基于大型语言模型的机器人的使用数量持续增长，用户对机器人输出的过于信任可能会导致问题。 [3]

2022年8月， Meta在发布 BlenderBot 3 期间警告说，该系统容易出现“幻觉”，Meta 将其定义为“自信的假话”。 [4] 2022年11月15日，Meta 发布了卡拉狄加（英語：）的演示版，旨在“存储、组合和推理科学知识”。 卡拉狄加生成的内容带有警告“输出可能不可靠！语言模型很容易输出幻觉文本。”在一个案例中，当被要求起草一篇关于创建虚拟形象的论文时，卡拉狄加引用了一位在相关领域工作的工作者的虚构的论文。 Meta 于 11月 17日因其具有一定的冒犯性和因幻觉产生的不准确而撤回了卡拉狄加的演示版。 [5] [6]

OpenAI的ChatGPT于 2022年 12月公开发布测试版，它基于 GPT-3.5 系列大型语言模型。沃顿商学院的莫里克（英語：，直译：莫里克）教授将 ChatGPT 称为“无所不知、渴望取悦别人但有时会撒谎的实习生（英語：）”。数据科学家特蕾莎（英語：） 讲述了其故意编造“英語：，直译：摆线倒置电磁铁”这个短语，并通过向 ChatGPT 询问不存在的现象来测试 ChatGPT。 ChatGPT 回答了了一个听起来似是而非的答案，并配以看似有理有据的引用，使她不得不仔细检查自己是否不小心输入了真实现象的名称。奥伦（ 英語：，直译：奥伦·埃齐安）等其他学者一起评估 Kubacka ，并评价道此类软件通常可以为用户提供“一个非常令人印象深刻的答案，但却是完全错误的”。 [7]

Mashable的麦克（英語：） 使用多个问题测试了 ChatGPT。在其中一个例子中，他询问了“中美洲除墨西哥以外最大的国家”的模型。 ChatGPT回复了危地马拉 ，而答案却是尼加拉瓜 。 [8]当CNBC向 ChatGPT 询问“The Ballad of Dwight Fry”的歌词时，ChatGPT 提供了虚构的歌词。 [9]在为新iPhone 14 Pro撰写评论的过程中，ChatGPT 错误地将相关芯片组列为 A15 而不是A16 ，尽管这可以归因于ChatGPT 是在 2021 年结束的数据集上训练的。 [10]当被问及有关新不伦瑞克省的问题时，ChatGPT 回答了很多正确答案，但错误地将萨曼莎·比归类为“来自新不伦瑞克省的人”。 [11]当被问及天体物理学磁场时，ChatGPT 错误地提出“黑洞的（强）磁场是由其附近极强的引力产生的”的理论。 [12] 快公司要求 ChatGPT 生成一篇关于特斯拉上一财季的新闻文章； ChatGPT 创建了一篇连贯的文章，但编造了其中包含的财务数字。 [13]

人们认为，自然语言模型产生幻觉数据的可能原因有很多。 [1]例如：

• 来自数据的幻觉：源内容存在差异（大型训练数据集通常会发生这种情况），
• 来自训练的幻觉：当数据集中几乎没有差异时，幻觉仍然会发生。在这种情况下，它源自模型的训练方式。造成这种幻觉的原因有很多，例如：
  • 来自转换器的错误解码
  • 模型先前生成的历史序列的偏差
  • 模型在其参数中编码其知识的方式产生的偏差

“幻觉”的概念比自然语言处理的应用更广泛。任何 AI 的自信反应，如果可能被训练数据判断为不合理时，都可以被标记为幻觉。 [1] 《连线》在 2018年指出，尽管没有记录在案的其他对抗性攻击（研究人员的概念验证攻击除外），但智能电子产品和自动驾驶等系统容易受到影响这一点“几乎没有争议”。对抗性攻击可能导致其它类别的人工智能产生幻觉。示例包括在计算机视觉不可识别的停止标志；一个音频剪辑被设计成听起来没有表达什么信息，但被某软件转录为“evil.com”等。 [14]

《连线》引用的各种研究人员将对抗性幻觉归类为高维统计现象，或者将幻觉归因于训练数据不足。一些研究人员认为，在物体识别的情况下，一些被人类归类为“幻觉”的“不正确”人工智能反应实际上可能被训练数据证明是正确的，甚至人工智能可能给出了人类审阅者认为的“正确”答案，人类并未看到。例如，对于人类来说，一张看起来像狗的普通图像的对抗性图像，实际上可能被 AI 视为包含微小的图案，这些图案（在真实图像中）只会在观看猫时出现。人工智能检测到了人类不敏感的源图像中的细节。 [15]

然而，这些发现受到了其他研究人员的质疑。 [16]例如，有人反对称模型可能偏向表面统计数据，导致对抗训练在现实场景中不具有鲁棒性。 [16]

幻觉现象仍未完全被了解。 [1]因此，从业者仍在进行研究以试图减轻/减缓其出现。 [17]特别是，研究表明，语言模型不仅会产生幻觉，还会放大幻觉，即使是那些旨在缓解这一问题的模型也遇到了同样的问题。 [18]

• 人工智能
• ChatGPT
• 图灵测试
• 垃圾进，垃圾出