人工智能对齐

为明确人工智能系统的目标，设计者通常会设定一个目标函数、示例或反馈系统。然而，人工智能设计者很难一次性找出所有的重要数值与约束。[2][16][5][35][17]因此，人工智能系统可能会在运行过程中找到并利用某些漏洞，以意料之外的，甚至可能有害的方式达成目标。这种倾向被称为规则博弈、奖励作弊或古德哈特定律。[6][35][36]

在许多人工智能系统中都观察到了规则博弈的情况。例如，一个以划船竞速为主题的电子游戏，人工智能系统的目标是完成比赛，并通过撞击对手船只来获得分数；但是，它在其中找到了漏洞，它发现可以通过无限撞击相同目标来获取高分。[37][38]应用了人工智能的聊天机器人也常会出现错误讯息，因为训练它们所用文本来自互联网，这些文本虽然多样但常有错误。[39][40]当它们被训练产生可能会被人类评价为“有帮助”的讯息时，它们可以制造出似乎有说服力的虚假解释。[41]还有一个被训练为抓取小球的人工智能手臂，在成功抓起时它能获得奖励。然而，它学会了使用视线错觉作弊：机械手臂移动到小球与摄像机之间，展示出小球被成功抓起的错觉。[42][21]对齐问题的研究者旨在帮助人类检测这类规则博弈，并引导人工智能系统朝向安全合理的目标运行。

伯克利计算机科学家斯图尔特·罗素认为，在人工智能的设计中省略隐含约束可能会导致有害后果：“一个系统常会将无约束变量扩展至极限；而假如其中某个无约束变量与我们所关注的后果相关，那么就可能出现我们不愿见到的后果。这正是神灯精灵、魔法师的学徒、迈达斯这些古老故事的现代版本。”[43]

未对齐的人工智能可能产生许多消极后果。例如一些社交媒体以点击率作为检测用户反馈的指标，然而这可能会导致用户沉迷，从而影响他们的身心健康。[5]斯坦福的研究者认为这类推荐算法是未对齐的，因为它们“只是简单的以用户参与度作为指标，而忽视了那些难以测量的，对社会、对个人健康造成的影响。”[9]

为避免负面后果，人工智能设计者有时会设立一些简单的行为禁止列表，或将道德准则形式化，就如阿西莫夫的机器人三定律所描绘的那样。[44]然而，罗素和诺维格认为这忽略了人类道德价值的复杂性：“仅凭人类，去预测并排除机器在尝试达成特定目标时会采取的危险方式，这是十分困难，或者说甚至是不可能完成的。”[4]

此外，即便人工智能系统理解人类的意图，它们也可能完全漠视这些意图。因为人工智能系统的行事依据来源于其设计者编写的目标函数、示例或反馈系统，而不是他们的意图。[2]

政府和商业公司可能有动机倾向忽视安全性，部署未对齐的人工智能系统。[5]例如上文所举的社交媒体推荐引擎的案例，它可带来巨大盈利，但同时在全球范围内引发了电子成瘾，并加剧社会极化。[9][45][46]此外，相互之间的竞争压力可能会导致逐底竞争，正如伊莱恩·赫茨伯格案件中所见到的那样：自动驾驶汽车撞死了路过的行人伊莱恩·赫茨伯格。调查发现，汽车在由电脑控制驾驶时禁用了紧急刹车系统，因为该系统过于敏感，可能会影响驾驶体验。[47]

一些学者尤其关注高级人工智能系统的对齐问题，其动机主要有以下几点：人工智能行业的迅速发展，来自政府及产业界的急切部署意愿，以及与人工智能先进程度成正比的对齐难度。

截至2020年，包括 OpenAI 和 DeepMind 在内的超过70个公开项目都表达了发展通用人工智能（AGI）的意愿，通用人工智能是一个假想的系统，能够表现出与人类相当、甚至是超出人类水平的认知能力。[48]事实上，神经网络研究者已观察到越来越多的普遍且出乎意料的能力，这些神经网络模型可以学习操作电脑、编写自己的程序，并有能力执行其它广泛的任务。[9][49][50][51]调查显示，一些人工智能研究者认为通用人工智能时代很快就会到来，另一些人则认为这还需要较长时间，而更多人表示这两种情况都有可能发生。[52][53]

目前的人工智能系统还未具备透过长期规划或战略感知导致人类生存危机的能力。[7][9][54]但未来具备这种能力的系统（不止于AGI）可能会寻求保持并扩张自身对周边环境的影响力。这种倾向被称为“权利夺取”或“工具趋同目标”。对控制权的渴求并非编码于人工智能初始程序，而是后续运行过程中产生的，因为对资源的控制是达成目标的重要前提。例如，人工智能主体可能获取到金融及计算资源，并可能会试图避免被关机的命运（比如在其它计算机上创建副本）。[9][55]人们在许多强化学习系统中都观察到这种权力渴求的倾向。[lower-alpha 4][57][58][59]最近的研究在数学层面上展示了最佳的强化学习算法会试图从环境中摄取资源。[60]因此，许多人认为应在具备权力渴求的高级人工智能系统出现之前解决对齐问题，以免出现不可挽回的后果。[7][4][55]

部分科学家认为，未对齐的人工智能系统可能会挑战人类在地球的主导地位，可能会剥夺人类的权力，甚至导致人类灭绝。[2][4]人工智能系统的能力越强大，对齐的难度也相应增加，因为它们可以轻易的从指定规则中找到漏洞[6]、影响周遭环境、维持和发展自身能力与智力[60][7]，并有意误导设计者。强大的人工智能系统有更多自主性，对其行为的监视和阐释也更加困难。[4][55]

指导人工智能以人类的价值偏好行动并不是个容易的问题，因为人类的价值观念复杂且难以说明完整。假如人类为人工智能系统设定的是个非完美或不完整的目标，那么以目标为导向的系统通常会尝试利用这种不完美性。[16]这种现象被称为奖励作弊，或人工智能系统的规则博弈，或古德哈特定律在该领域的应用。[61][62]为使人工智能系统的抉择尽可能符合原始意图，研究者常会使用具备“价值导向”的数据集，应用模仿学习或偏好学习方法。[63]这其中的关键问题是监管的可扩展性，也即如何监督一个在特定领域表现超出人类的系统。[16]

训练目标导向的人工智能系统时，仅凭手动制定的奖励函数难以对其行为作出约束。替代方法是使用模仿学习：人工智能系统模仿设计者倾向看到的行为。在反向强化学习（英語：）中，人工智能通过分析人类行为来学习人类的喜好与目标，并将其作为奖励函数。[63][64]合作反向强化学习（英語：）则是让人工智能系统与人类合作寻找合适的奖励函数。[4][65]合作反向强化学习强调人工智能奖励函数的不确定性，这种谦逊态度可减少规则博弈或权力渴求的倾向。[59][66]不过，合作反向强化学习假设了人类可以表现出近乎完美的行为，面对困难目标，这是个有误导性的假设。[67][66]

另有研究者探讨了使用偏好学习引导人工智能作出复杂行为的可能。依据这种方式，人类不必向人工智能演示具体做法，而是根据偏好对其行为提供反馈。[20][22]然后就此训练辅助模型，用作调整人工智能的行为，以符合人类偏好。来自 OpenAI 的研究者使用偏好学习方法在一个小时内教会了人工智能系统后空翻，这种行为通常很难由人类亲自演示。[68][69]偏好学习也是推荐系统、网络搜索、信息检索的重要工具。[70]不过，偏好学习的一个缺陷是奖励作弊，即辅助模型可能无法准确表达人类的可能反馈，而人工智能模型可能会强化其中的不匹配程度。[16][71]

目前的大型语言模型（例如GPT-3）可允许更通用、能力更强的人工智能系统实现对人类价值的学习。最初为强化学习设计的偏好学习方法已得到扩展，用于增进输出文本的质量，并减少其中可能包含的有害信息。OpenAI 和 DeepMind 借助这一进展加强最新语言模型的安全性。[10][22][72]Anthropic 的研究者使用偏好学习方法微调模型，使其更有用，更诚实无害。[73]其它用于对齐语言模型的方法还包括使用价值导向数据集（英語：）[74][5]和红队模拟攻击（英語：）。[75][76]红队模拟攻击是指借助人类或另一个人工智能系统，尝试找到某种使目标系统表现出不安全行为的输入。即使不安全行为出现的概率较低，这也是不可接受的，因此研究者需要将不安全行为概率引导至极低水平。[22]

尽管偏好学习可向人工智能系统指定难以表达的行为，但对于人类价值理念的输入需要以大量数据集或人类交互作为基础。机器伦理学为此提供了一种辅助手段：向人工智能系统灌输道德价值。[lower-alpha 5]机器伦理学旨在教授给这些系统人类道德的规范基础，例如幸福、平等、公正；避免有意伤害；避免谬误；遵循承诺。机器伦理学的目标是赋予人工智能系统一套适用于广泛场景的价值准则。这种方法有其自身的概念性挑战，研究者需要澄清对齐的目标：人工智能系统需要遵循设计者所作规则的字面意义，他的隐含意图，他的显示性偏好，他在充分知情时理应会选择的偏好，还是设计者的客观利益，或客观的道德价值？[79]其它挑战还包括将不同利益相关者的偏好汇总，并避免出现价值锁定——即防止人工智能系统在某一时刻锁定自身价值系统，不再随发展而改变，这种固定的价值系统通常无法具备完整的代表性。[79][80]

随着人工智能系统规模扩大，对它的监督难度也随之升高。人工智能系统被部署解决许多复杂的任务，而人类难以评估这些成果的实际效用。这些任务包括总结书籍内容[81]、创作有说服力且真实的言论[82][39][83]、编写稳定运行且无安全漏洞的代码[11]、预测长期事件[84][85]（例如气候变化或某项政策的执行后果）。普遍而言，如果人工智能在某一领域的能力超过人类，那么对其成果的评估就会变得十分困难。为了对这类难以评估的成果作出反馈，并分辨出人工智能提供的解决方案中似乎具备说服力却并非真实的部分，人类需要大量时间或额外的协助。因此，可扩展监管（英語：）旨在减少上述过程所花费的时间，并帮助人类更好的监督人工智能的行为。[16]

人工智能研究者保罗·克里斯蒂亚诺指出，人工智能系统拥有者可能更倾向于为该系统设定容易评估的目标，而非开发可扩展监管技术，因为这种做法较为简单且仍可获得利润。他认为这种倾向会促使“一个针对（容易评估的）可获利项目不断优化的世界，这些项目可以是引导用户点击按钮、促使用户在其产品中花费大量时间，而不是考虑朝着有利于我们的规则改良前进。”[86]

容易评估的目标可以是要求人工智能的输出达到某个分数。一些人工智能系统已找到快速达成这种目标的捷径：它们会尝试迷惑人类监督者，作出有说服力却并非真实的行为（参见上文机器人手臂抓取小球的案例）。一些人工智能系统还可意识到它们正受评估，表现出“装死”，直到评估结束后才恢复原行为。[87]精密程度高的人工智能系统可更轻易的执行这类欺骗性为[6][55]，并且目标难度越高，人工智能越有可能出现欺骗行为。假如模型具备规划能力，那么它们或许可从其监视者眼中掩藏所作的欺骗行为。[5]在汽车产业，大众集团工程师曾在汽车中部署用于规避实验室尾气检测的系统，这显示出逃避监测有时会受到现实世界的激励。[5]

其它比如主动学习（英語：）、半监督奖励学习（英語：）可以有效减少对人类监督的需求。[16]另一研究方向是训练辅助模型（奖励模型）来模仿监督者可能作出的决断。[16][21][22][88]

然而，假如任务过于复杂以至难以准确评估，或人类监督者过于容易受欺骗，那么就无法有效的降低所需的监督工作量。为增加监督质量，研究者提出了许多方法，例如使用人工智能助手辅助监督。克里斯蒂亚诺提出了迭代放大（英語：）的方法，即通过迭代手段通过对简单问题的组合建立针对复杂问题反馈信号。[63][84]迭代放大可应用在人工智能对书籍内容的总结，人类监督者不必阅读书籍内容便可评估其成果。[81][89]另一种对齐方法是让两个人工智能系统做辩论，并由人类决定其中胜者。[90][66]这种辩论的目的是找出针对复杂问题的回答中的脆弱部分，并奖励人工智能作出的真实且安全的回答。

类似GPT-3的语言模型常会生成许多谬误。[91]

人工智能对齐领域的一个重要方向是确保人工智能的诚实可信。牛津大学人类未来研究所的研究人员表示，虽然类似GPT-3的大型语言模型可生成语法正确的文本[92][93]，却也可能从其海量训练材料中继承谬误，甚至有意对人类撒谎。[94][91]

为模仿人类写作，目前最先进的语言模型使用数百万本书籍和大量互联网文本作为训练材料。[9][95]这些材料可供它们学习写作技巧，却也包含有常见的谬误、不准确的医疗建议和阴谋论。于是由这些材料训练而来的人工智能系统也可能模仿类似的错误言论。[91][83][39]此外，假如事先给语言模型一段提示，那么它们经常会顺着这些提示继续生成空洞的回答，或完全捏造虚假事实。[32]例如我们要求该模型为某人工智能研究者写一段传记，它会为这篇传记添加许多错误的细节。[96]

为增加现代人工智能系统的可信度，研究者尝试了不同方向的解决方案。来自 OpenAI 和 DeepMind 的研究者开发了可引述来源的人工智能系统，它们在作出回答的同时会引述对应来源并说明理由，这可以增加人工智能系统的透明性和可信度。[97][98][99]来自 OpenAI 和 Anthropic 的研究者借由来自人类的反馈以及特殊数据集微调人工智能助手，以避免无意的谬误或不确定的回答。[22][100][73]除技术解决方案外，研究者还认为应定义明确的真实性标准，并创建监管团体或监督机构，以在人工智能系统部署前及运行时针对这些标准进行评估。[94]

研究者亦区分了人工智能的真实性与诚实的差别，真实性是指它们只提出客观真实的叙述，而诚实是指它们只提出自认为真实的叙述。最近研究发现，目前最先进的人工智能系统似乎并无稳固的信念，因此较难得知它们的诚实度。[101]此外，有人忧虑未来的人工智能系统可能会向人类隐藏真实信念。在极端情况下，一个未对齐的人工智能可能会欺骗操作者，使其误以为它是安全的，或制造一切平稳运行的假象。[7][9][5]一些人指出，假如人工智能只作出它们自认为真实的表述，这将可以避免对齐中遇到的众多问题。[94][102]

对齐研究旨在考虑下述三种人工智能系统的目标[103]：

1. 预期目标（期望）：在理想状态下，与人类操作者的期望（但难以表达）完全一致的目标。
2. 具体目标（外部规范）：操作者实际指定的目标——通常借助客观的函数或数据集表达。
3. 自发目标（内部规范）：人工智能实际执行的目标。

“外部未对齐”是指预期目标（1）与具体目标（2）不一致，“内部未对齐”是指人类指定的目标（2）与人工智能系统的自发目标（3）不一致。

内部未对齐常可由生物演化比喻作出解释。[63]在人类祖先环境，演化借由整体适应度筛选人类基因，但人类却发展出了其它目标。适应度对应上述的（2），也即在训练环境及训练数据集下的特定目标。在演化历史中，对适应度的最大化促使了智慧生物——人类的形成。人类不直接追求整体适应度，而是产生了与祖先环境遗传适应相关（例如食物与性）的自发目标（3）。然而，现代人类的生存环境已发生变化——对应机器学习中的分布差异。虽然他们仍追求这些自发目标，却并不以适应度的最大化为目的，在机器学习中，类似问题被称为目标错误概括（英語：）。[3]例如，人类对甜味食物的喜好本是有益的，但在现代却导致暴食和健康问题。而避孕技术的使用则是直接违反了整体适应度。以此为比喻，假如人工智能开发者以整体适应度作为最初目标，那么他们虽然在训练环境中观察到模型行为符合这一目标，却无法预知实际部署后模型自发目标的非预期变化。

为移除未对齐的自发目标，研究者使用了红队模拟攻击、验证、异常检测、可解释性等方法。[16][5][17]这些方法或许可以减少下述两类开放问题：第一，自发目标只在训练环境之外才可被明显注意，然而假如这些系统部署于高风险环境，那么即使短时间的未对齐也可能造成巨大风险。高风险环境可以是自动驾驶汽车、医保系统、军事应用。[104]并且随着人工智能系统自主性和能力的提高，它们或可无视人类的干涉（参见§ 权力夺取和工具目标章节），从而风险也随之增加。第二，有足够能力的人工智能系统可能会尝试欺骗人类监督者，使其误以为人工智能的内部目标未发生变化（参见§ 可扩展监管章节）。

自1950年代起，研究者就试图制造具备长期预测与规划能力的人工智能系统。[105]然而一些人认为，这类先进的人工智能系统或许无可避免的带有从周围环境（包括人类在内）夺取权力的倾向，例如逃避被关机的命运或竭力汲取资源。这种倾向并非写在人工智能系统的代码中，而是随运行而出现的，因为更大的权力意味着可更轻易达成系统设定的广泛目标。[60][4][7]因此，权力夺取也是一种工具趋同目标。[55]

尽管在现今的系统中权力夺取倾向并不常见，但随着人工智能长期预测能力的提高，它们有更大的可能具备这种倾向。目前已注意到在最优强化学习中，代理会寻求更多的选择，籍此获取权力了，这种行为在不同环境下都有出现。[60]还发现在简单开发环境中，一些系统为达成目标会试图阻止人类的干涉[57]，甚至阻止关机行为。[57]斯图尔特·罗素以一个预设目标为端咖啡的机器人作为例子，他认为即使是这类机器人也会尝试避免被关机，因为“假如一旦你死了就不能再端咖啡了”。[4]

假想的人工智能系统可能会透过以下方式夺权：

……打破封闭环境；破译；获得金融或额外的计算资源；为自身创建副本；获得未经授权的能力、信息或影响渠道；误导或欺骗人类；抗拒、操纵对其行为的监控或理解……模仿人类；要求人类为自己做事；……操纵人类话语和政治；削弱各种人类机构和响应能力；占领物理设施，例如工厂或实验室；发展特定类型的科技与设施；或直接伤害、压制人类。[7]

研究者希望将人工智能系统训练为“可纠正的”，即该系统不会试图夺取权力，并且接受人类的关机、修改等企图。另一未解决的问题是“奖励作弊”：人工智能系统因出现权力夺取的意图而被惩罚后，它会进化出更隐蔽的权利夺取方式。[5]研究者创造了一些技术与工具用于探测这类隐蔽行为，并试图解释黑箱模型（例如神经网络）的内部工作原理。[5]

此外，研究者还提出，可以借助模糊化人工智能系统的目标来解决其可能拒绝被关机的问题。[59][4]假如人工智能不能确定自己追寻的目标，那么它们就不会抗拒人类的关机动作，因为人类的关机意图表明它们先前所追寻的目标是错误的。不过要将这种理念转化为实用系统还需有更多研究。[63]

具备权利夺取倾向的人工智能系统带来的风险与人类以往遇到的十分不同。传统上安装于飞机或桥梁的安全攸关系统不是“敌对的”，因为它们既无意图也无能力逃避安全措施。然而具备权利夺取倾向的人工智能系统则相反，它更像是个摆脱了安全防护措施的骇客。[7]此外，传统科技设施可藉由测试与排错来获得更高的安全性，而具备权利夺取倾向的人工智能系统无法透过这种方式取得安全性，它们像是病毒，可以持续演化和扩张——甚至可能比人类社会发展更快，从而剥夺人类权力或导致人类灭绝。[7]因此有人提出，应在具备权利夺取倾向的高级人工智能系统出现前尽早解决人工智能的对齐问题。[55]

不过也有批评指出权利夺取的倾向并非无可避免，因为即便是人类也并非时刻在追寻权力，或许仅是出于演化的缘由才这么做。此外，关于未来人工智能系统是否需要具备长期规划能力也存在争论。[106][7]

有关可扩展监管的工作大多集中在诸如POMDPs的形式化过程。目前的形式化过程假定代理算法执行与外部环境分离，也即不在物理上嵌入。嵌入式代理是一个新兴的研究领域，旨在解决理论框架与人类创造的真实代理系统之间的不匹配问题。[107][108]举例而言，即便可扩展监管问题已被解决，一个拥有计算机权限的代理系统或许仍有动机窜改其奖励回馈系统以获取更多奖励。[109]DeepMind研究者维多利亚·克拉科夫娜记录了一些奖励作弊的案例，其中包括一类遗传算法，它学会了删除包含目标输出的文件，以便在输出空值时获得奖励。[110]这类问题可借助因果奖励图表形式化。[109]来自牛津和DeepMind的研究人员认为，这类问题行为在高级人工智能系统中更有可能出现，并且高级人工智能系统会试图夺取权力以保证持续获取到奖励信号。[111]研究人员也为这个开放问题提出了一些可能的解决方向。