斯图尔特·罗素(StuartRussell）的新书《人类兼容》探讨了确保超级智能机器不会造成危险的方法。
图片：JamieChung/TrunkArchive;Han人工智能研究正朝着它的长期目标，即人类水平或超人智能机器，迈进一大步。然而，如果它以目前的形式取得成功，那对人类来说将是灾难性的。原因是人工智能的“标准模型”要求机器追求人类指定的固定目标。我们无法完全正确地规定目标，也无法预见或防止追求错误目标的机器在全球范围内以超人的能力运行时所造成的危害。我们已经看到了一些例子，比如社交媒体算法，它们通过操纵人们的偏好来学习优化点击，给民主制度带来灾难性的后果。
尼克·博斯特罗姆（NickBostrom）年出版的《超智能：路径、危险、战略》（Superintelligence:Paths，Dangers，Strategies）一书详细阐述了认真对待风险的理由。《经济学人》杂志对博斯特罗姆这本书的评论以“将第二个智慧物种引入地球的意义深远，值得深思”结尾，大多数人认为这是英国人轻描淡写的一个典型例子。
当然，在如此多的利害关系中，今天的伟大思想已经在进行认真的辩论，权衡风险和利益，寻求解决方案，找出解决方案中的漏洞，等等这些艰难的思考。据我所知，还没有。相反，大量的努力变成了各种形式的否认。
一些著名的人工智能研究者采用了几乎不值得反驳的论点。以下是我在文章中读到或在会议上听到的几十篇文章中的几篇：
1.电子计算器在算术方面是超人。计算器并没有占领世界，因此，没有理由担心超人的人工智能。
2.从历史上看，没有机器杀死数百万人的例子，因此，通过归纳法，这种情况在未来是不可能发生的。
3.宇宙中没有一个物理量是无限的，包括智力在内，所以对超级人工智能的担忧被夸大了。
也许人工智能研究人员最常见的反应是说“我们总是可以把它关掉。”艾伦·图灵（AlanTuring）自己提出了这种可能性，尽管他并不太相信：
1.如果一台机器能思考，它可能比我们更聪明，然后我们应该在哪里？即使我们可以让机器处于一个被驱使的位置，例如在关键时刻关闭电源，我们作为一个物种，也应该感到它们容易被打败……这种新的危险……肯定会让我们感到焦虑。
关闭机器是行不通的，原因很简单，一个超级人工智能实体已经考虑到了这种可能性，并采取了措施来防止这种可能性。它这样做并不是因为它“想活下去”，而是因为它正在追求我们给它的任何目标，并且知道如果它被关闭，它将失败。我们不能再“关掉它”，就像我们可以击败阿尔法狗（世界围棋冠*），只要把棋子放在正确的方块。
其他形式的否认也需要更复杂的想法，比如智力是多方面的。例如，一个人可能比另一个人拥有更多的空间智能，但社会智能却更少，因此我们不能按照严格的智能顺序排列所有的人类。机器更是如此：将阿尔法狗(Alphago)的“智能”与Google搜索引擎的“智能”进行比较是毫无意义的。
图片：JustinMetz《连线》杂志的创始编辑凯文·凯利（KevinKelly）是一位非常敏锐的技术评论员，他将这一论点向前推进了一步。在《超人人工智能的神话》中，他写道：“智能不是一个单一的维度，所以‘比人类聪明’是一个毫无意义的概念。”在一次打击中，所有对超智能的担忧都被抹去了。
现在，一个明显的反应是，一台机器在智力的所有相关方面都可能超过人类的能力。在这种情况下，即使按照凯利的严格标准，这台机器也会比人类更聪明。但这种相当强烈的假设并没有必要反驳凯利的论点。
想想黑猩猩。黑猩猩可能比人类有更好的短期记忆，甚至在面向人类的任务中，比如回忆数字序列。短期记忆是智力的一个重要方面。那么，根据凯利的论点，人类并不比黑猩猩聪明；事实上，他会声称“比黑猩猩聪明”是一个毫无意义的概念。
这对黑猩猩和其他只因我们屈从而生存的物种，以及所有我们已经灭绝的物种来说，都是一种冰冷的慰藉。对于那些担心被机器消灭的人来说，这也是一种冰冷的安慰。
超级人工智能的风险也可以通过辩称超级人工智能自身无法实现来消除。这些说法并不新鲜，但令人惊讶的是，现在看到人工智能研究人员自己声称，这样的人工智能是不可能的。例如，ai组织的一份重要报告《年的人工智能与生命》（Artificialintelligenceandlifein，pdf）中就有这样的说法：“与电影中不同的是，在地平线上甚至可能没有超人机器人的种族。”
据我所知，这是严谨的人工智能研究者第一次公开支持这样的观点，即人类级或超人级的人工智能是不可能的，而这是在人工智能研究取得极其迅速进展的时期，一个又一个障碍正在被突破。就好像一群顶尖的癌症生物学家宣布他们一直在愚弄我们：他们一直都知道永远不会有治愈癌症的方法。
是什么激发了这么大的兴趣？报告没有提供任何论据或证据。（事实上，有什么证据可以证明，在物理上不可能有原子排列方式胜过人脑？）我怀疑主要的原因是部落主义——一种围着马车转的本能，反对被认为是对人工智能的“攻击”。然而，认为超级智能人工智能有可能是对人工智能的攻击，这似乎很奇怪；更奇怪的是，认为人工智能永远不会成功实现其目标，从而捍卫人工智能。我们不能仅仅依靠人类的聪明才智就为未来的灾难投保。
如果说超人的人工智能并不是完全不可能实现的，那么也许它离我们太远了？这正是伍德龙（AndrewNg）断言的要点，他认为这就像担心“火星上的人口过剩”，不幸的是，长期的风险仍然会引起人们的直接