3 月 21 日，美国圣菲研究所（SFI，Santa Fe Institute）的 Melanie Mitchell 教授在《Science》发表题为《关于通用人工智能本质的辩论》（「Debates on the nature of artificial general intelligence」）的文章。

ScienceAI 对原论文进行了不改变原意的编辑、整理：

「通用人工智能」（AGI）一词在当前有关人工智能的讨论中已经无处不在。

OpenAI 表示，其使命是「确保通用人工智能造福全人类」。

DeepMind 的公司愿景声明指出，「通用人工智能……有可能成为推动历史上最伟大的变革之一。」

英国政府的国家人工智能战略和美国政府的人工智能文件中都重点提到了 AGI。

微软研究人员最近声称大型语言模型 GPT-4 中存在「AGI 的火花」。

谷歌现任和前任高管也宣称「AGI 已经到来」。

GPT-4 是否是「AGI 算法」的问题是埃隆·马斯克对 OpenAI 提起诉讼的核心。

鉴于 AGI 讨论在商界、政府和媒体中无处不在，不能因为假设该术语的含义已确定并达成一致而受到指责。然而，事实恰恰相反：AGI 意味着什么，或者它是否意味着任何连贯的东西，在人工智能社区里引起了激烈的争论。

AGI 的含义和可能的后果已经不仅仅是一个关于神秘术语的学术争论。世界上最大的科技公司和各国政府正在根据他们对通用人工智能的看法做出重要决策。

但深入研究有关 AGI 的猜测就会发现，许多人工智能从业者对智能本质的看法，与那些研究人类和动物认知的人截然不同——这种差异对于理解机器智能的现状和预测其可能的未来很重要。

人工智能领域的最初目标是创造具有与人类相当的通用智能的机器。

早期的人工智能先驱很乐观：1965 年，赫伯特·亚历山大·西蒙（Herbert Alexander Simon）在他的《人类自动化的形态与管理》（The Shape of Automation for Men and Management）一书中预测，「在 20 年内，机器将能够完成人类能做的任何工作」，而在 1970 年，《Life》杂志援引 Marvin Minsky 的话说：「三到八年内，我们将拥有一台具有普通人一般智力的机器。我指的是一台能够阅读莎士比亚、给汽车加油、搞办公室政治、讲笑话、打架的机器。」

这些乐观的预测并没有成为现实。在接下来的几十年里，唯一成功的人工智能系统是「狭窄」的而不是通用的——它们只能执行单一任务或有限范围的任务（例如，手机上的语音识别软件可以转录你的听写，但无法智能地响应它） 。

「AGI」一词于 21 世纪初创造，旨在重拾人工智能先驱者最初的远大抱负，寻求重新关注「尝试以独立于领域的方式研究和再现整个智能」。

直到最近，这种追求仍然是人工智能领域一个相当模糊的角落，最近，领先的人工智能公司将实现通用人工智能作为他们的首要目标，并指出人工智能「厄运者」宣称通用人工智能的生存威胁是他们的头号恐惧。

许多人工智能从业者都对 AGI 的时间表做出了推测，例如，有人预测「到 2028 年我们拥有 AGI 的可能性为 50%」。其他人质疑 AGI 的前提，称其模糊且定义不明确。一位著名研究人员在推特上表示，「整个概念是不科学的，人们甚至应该为使用这个词感到尴尬。」

虽然早期 AGI 支持者认为机器很快就会承担所有人类活动，但研究人员经过惨痛的教训才认识到，创建能够在国际象棋中击败你或回答你的搜索问题的人工智能系统，比制造一个能叠衣服或修理管道的机器人要容易得多。

AGI 的定义也进行了相应调整，只包括所谓的「认知任务」。DeepMind 联合创始人 Demis Hassabis 将 AGI 定义为「应该能够完成人类几乎可以完成的任何认知任务」的系统，而 OpenAI 将其描述为「在最具经济价值的工作中超越人类的高度自治系统」，其中「大多数」 遗漏了需要物理智能的任务，而这些任务可能会在一段时间内机器人无法完成。

人工智能中的「智能」概念（认知或其他）通常是根据单个代理针对奖励或目标进行优化来构建的。一篇有影响力的论文（「Universal Intelligence: A Definition of Machine Intelligence」）将通用智能定义为「智能体在各种环境中实现目标的能力」。

另一篇文章（「Reward is enough」）指出，「智力及其相关能力可以被理解为促进奖励的最大化。」事实上，这就是当今人工智能的工作原理——例如，计算机程序 AlphaGo 被训练来优化特定的奖励函数（「赢得比赛」），而 GPT-4 被训练来优化另一种奖励函数（「 预测短语中的下一个单词」）。

这种对智能的看法引发了一些人工智能研究人员的另一种猜测：一旦人工智能系统实现了AGI，它将通过将其优化能力应用到自己的软件中，递归地提高自己的智能，并迅速变得「比我们聪明数千或数百万倍」，从而迅速实现超人的智能。

「在我们与超级智能机器共享地球之前，我们必须发展一门科学来理解它们。否则，它们就会控制一切，」作者 James Barrat 在谈到他的新书《我们的最终发明：人工智能和人类时代的终结》（Our Final Invention: Artificial Intelligence and the End of the Human Era）时说道。

这种对优化的关注导致人工智能社区中的一些人担心「不一致」的通用人工智能可能会疯狂地偏离其创造者的目标，从而给人类带来生存风险。

哲学家 Nick Bostrom 在其 2014 年出版的《超级智能》（Superintelligence）一书中提出了一个现在很著名的思想实验：他想象人类给超级智能人工智能系统一个优化回形针生产的目标。从字面上理解这个目标，人工智能系统利用其天才来控制地球上所有的资源，并将一切都变成回形针。当然，人类并不想毁灭地球和人类来制造更多的回形针，但他们在说明书中忽略了这一点。

人工智能研究员 Yoshua Bengio 给出了他自己的思想实验：「我们可能会要求人工智能解决气候变化问题，它可能会设计出一种导致人类大量死亡的病毒，因为我们的指令对于危害的含义还不够明确，而人类实际上是解决气候危机的主要障碍。」

这种对 AGI（和「超级智能」）的推测性观点与研究生物智能（尤其是人类认知）的人们所持有的观点不同。尽管认知科学对「一般智力」没有严格的定义，也没有就人类或任何类型的系统可以拥有一般智力的程度达成共识，但大多数认知科学家都同意，智力不是一个可以在单一尺度上衡量的量。也不是任意地上下调整的量，而是一般和专业能力的复杂整合，这些能力在很大程度上是在特定的进化生态位中适应的。

许多研究生物智能的人也怀疑，所谓的「认知」方面的智能是否可以与其他模式分离并在脱离实体的机器中捕获。心理学家已经表明，人类智力的重要方面是以一个人具体的身体和情感体验为基础的。有证据还表明，个人智力很大程度上依赖于一个人对社会和文化环境的参与。对于一个人成功实现目标而言，理解他人、与他人协调并向他人学习的能力可能比个人的「优化能力」重要得多。

此外，与假设的回形针最大化人工智能不同，人类智能并不以固定目标的优化为中心；相反，一个人的目标是通过先天需求与支持其智力的社会和文化环境的复杂整合而形成的。与超级智能回形针最大化器不同，智能的增加恰恰使我们能够更好地洞察他人的意图以及我们自己的行为可能产生的影响，并相应地修改这些行为。

正如哲学家 Katja Grace 所写：「对于几乎任何人类目标来说，将宇宙作为一个子步骤的想法都是完全可笑的。那么为什么我们认为人工智能的目标不同呢？」

机器改进自己的软件，以将其智力提高几个数量级的幽灵也偏离了生物学的观点，即智力是一个超越孤立大脑的高度复杂的系统。如果人类水平的智能需要不同认知能力的复杂整合，以及社会和文化的脚手架，那么系统的「智能」级别很可能无法无缝访问「软件」级别，就像我们人类无法轻易地设计我们的大脑（或基因）让自己变得更聪明一样。然而，我们作为一个集体，通过计算机等外部技术工具，比如学校、图书馆和互联网等文化机构的建设，提高了我们的有效智力。

AGI 的含义以及它是否是一个连贯的概念仍在争论中。此外，对通用人工智能机器能够做什么的猜测很大程度上基于直觉，而不是科学证据。但这样的直觉有多少可信度呢？人工智能的历史一再推翻了我们对智能的直觉。

许多早期的人工智能先驱认为，用逻辑编程的机器将捕获人类智能的全部范围。其他学者预测，要让机器在国际象棋中击败人类，或者在语言之间进行翻译，或者进行对话，需要它具有人类水平的一般智能，但结果被证明是错误的。

在人工智能进化的每一步中，人类水平的智能都比研究人员预期的更加复杂。当前关于机器智能的猜测是否会被证明同样是错误的？我们能否发展出更严格、更普遍的智能科学来回答这些问题？

目前尚不清楚人工智能科学是否更像人类智能科学，或者更像天体生物学，它预测其他星球上的生命可能是什么样子。对从未见过、甚至可能不存在的事物做出预测，无论是外星生命还是超级智能机器，都需要基于一般原理的理论。

最终，「AGI」的含义和后果将不会通过媒体的争论、诉讼或我们的直觉和猜测来解决，而是通过对这些原则的长期科学考察来解决。