本文转载自“集智俱乐部”
技术奇点Technologicalsingularity——简称奇点Singularity是一个假设的时间点。在该时间点上，技术的增长变得不可控制和不可逆转，从而导致人类文明发生无法预见的变化。根据奇点假说（也被称为智能爆炸intelligenceexplosion）最流行的版本：一个可升级的智能体终将进入一种自我完善循环的失控反应runawayreaction”。每个新的、更智能的世代将出现得越来越快，导致智能的“爆炸”，并产生一种在实质上远超所有人类智能的超级智能。
第一次在科技领域使用“奇点”这一概念的人是冯·诺依曼JohnvonNeumann。StanislawUlam报告了一次与冯·诺依曼的讨论。“围绕技术的加速进步和人类生活模式的改变，这让我们看到了人类历史上一些本质上的奇点。一旦超越了这些奇点，我们所熟知的人类事务就将无法继续下去了”。后来的作者也赞同这一观点。
I.J.古德的“智能爆炸”模型预测未来的超级智能将触发一个奇点。
“奇点”的概念和术语是由VernorVinge在他年的文章《即将到来的技术奇点TheComingTechnologicalSingularity》中得到推广的。他在文中写道，这将标志着人类时代的终结，因为新的超级智能将持续自我升级，并以不可思议的速度在技术上进步。他写道，如果奇点发生在年之前或00年之后，他会感到惊讶。
斯蒂芬·霍金StephenHawking和埃隆·马斯克ElonMusk等公众人物对完全人工智能（AI）可能导致人类灭绝表示担忧。奇点的后果及其对人类的潜在利益或伤害一直存在激烈的争论。
01年到01年期间，NickBostrom和Vincentc.Müller对人工智能研究人员进行了四次调查。结果显示，通用人工智能（artificialgeneralintelligence，AGI）在00年至年被成功开发出来的概率估计的中位数为50%。
背景
虽然技术进步一直在加速，但它一直受到人脑基本智力的限制，而根据PaulR.Ehrlich的说法，人类大脑的基本智力在几千年来并没有发生显著变化。然而，随着计算机和其他技术的日益强大，人类最终有可能制造出一台比人类智能得多的机器。
如果一种超人类智能被发明出来，无论是通过人类智能的放大还是通过人工智能，它将带来比现在的人类更强的问题解决和发明创造能力。这种人工智能被称为种子人工智能SeedAI。因为如果人工智能的工程能力能够与它的人类创造者相匹敌或超越，那么它就有潜力自主改进自己的软件和硬件，或者设计出更强大的机器。这台能力更强的机器可以继续设计一台能力更强的机器。这种自我递归式改进的迭代可以加速，以至于在物理定律或理论计算设定的任何上限之内发生巨大的质变。据推测，经过多次迭代，这样的人工智能将远远超过人类的认知能力。
智能爆炸
智能爆炸是构建通用人工智能artificialgeneralintelligence(AGI)的可能结果。在技术奇点实现后不久，AGI将能够进行递归式的自我迭代，从而导致人工超级智能artificialsuperintelligence(ASI)的迅速出现，但其局限性尚不清楚。
年，I.J.Good曾推测通用人工智能可能会带来智能爆炸。他对超人类机器superhumanmachines及其影响进行了推测，如果他们真的被发明出来的话：
让我们把超智能机器定义为一种机器，它可以进行远超无论多么聪明的一个人的所有智力活动。由于机器的设计是一种智力活动，那么一台超智能机器可以设计出更好的机器；那么毫无疑问会出现“智能爆炸”，人类的智能将远远落后。因此，第一台超智能机器是人类所需要的最后一项发明，当然，假设机器足够温顺并能够告诉我们如何控制它们的话。
古德的设想如下：随着计算机能力的增加，人们有可能制造出一台比人类更智能的机器；这种超人的智能拥有比现在人类更强大的问题解决和发明创造的能力。这台超级智能机器随后设计一台功能更强大的机器，或者重写自己的软件来变得更加智能；这台（甚至更强大的）机器接着继续设计功能更强大的机器，以此类推。这些递归式的自我完善的迭代加速，允许在物理定律或理论计算设定的任何上限之内发生巨大的质变。
其他表现形式
超级智能的出现
超级智能、超智能或超人智能是一种假想的智能体。它拥有的智能远远超过最聪明、最有天赋的人类大脑的智能。“超级智能”也可以指这种智能体所拥有的智能的形式或程度。约翰·冯·诺依曼JohnvonNeumann，VernorVinge和RayKurzweil从技术创造超级智能的角度定义了这个概念。他们认为，现在的人类很难或不可能预测人类在后奇点世界的生活会是什么样子
技术预言家和研究人员对人类智能是否或何时可能被超越存在分歧。一些人认为，人工智能（AI）的进步可能会产生没有人类认知局限的一般推理系统。另一些人则认为，人类将进化或直接改变自己的生物性，从而从根本上实现更高的智能。许多未来研究的场景结合了这两种可能的元素，认为人类很可能会与计算机交互，或以将他们的意识上传到计算机的方式实现大量的智能增益。
非人工智能奇点
一些作家更宽泛地使用“奇点”的概念，用来指代任何我们社会中由新技术带来的剧烈变化，如分子纳米技术，尽管VernorVinge和其他作家明确指出，如果没有超级智能，这些改变就不能算作真正的奇点。
速度超智能
速度超级智能speedsuperintelligence描述了一个人工智能，它可以做任何人类能做的事情，唯一的区别是这个机器运行得更快。例如，与人类相比，它信息处理的速度提高了一百万倍，一个主观年将在0个物理秒内过去。这种在信息处理速度上的差异可能会导致奇点。
合理性
许多著名的技术专家和学者都对技术奇点的合理性提出质疑，包括PaulAllen、JeffHawkins、JohnHolland、JaronLanier和GordonMoore，他的摩尔定律经常被引用来支持这一概念。
大多数创造超人或超越人类智能的方法分为两类：人脑的智能增强和人工智能。据推测，智能增强的方法很多，包括生物工程、基因工程、益智药物、AI助手、直接脑机接口和思维上传。因为人们正在探索通向智能爆炸的多种途径，这使得奇点出现的可能性变得更大；如果奇点不发生，所有这些方法都必将失败。
RobinHanson对人类智能增强表示怀疑，他写道，一旦提高人类智力的“唾手可得的”简单方法用尽，进一步的改进将变得越来越难。尽管有各种提高人类智能的方法，但非人类人工智能（特别是种子人工智能）仍是所有能推进奇点的假说中最受欢迎的一个。
智能爆炸是否发生取决于三个因素。第一个加速因素是过去的每一次改进都使新的智能增强成为可能。相反，随着智能的进步，进一步的发展将变得越来越复杂，可能会抵消智力增长的优势。平均而言，每一次改进都应该至少带来一次改进，以便继续朝着奇点的方向发展。最后，物理定律最终会阻止任何进一步的改进。
智能改进有两个逻辑上独立但又相互加强的原因：计算速度的提高和使用的算法的改进。前者由摩尔定律和硬件方面的改进进行预测，与以前的技术进步比较相似。但也有一些人工智能研究人员认为软件比硬件更重要
在年，一项对年NeurIPS和ICML机器学习会议上发表论文的作者的电子邮件调查询问了智能爆炸的可能性。在受访者中，1%的人认为“很有可能”，17%的人认为“有可能”，1%的人认为“可能性中等”，%的人认为“不太可能”，6%的人认为“非常不可能”。
速度改进
无论对于人类智能还是人工智能，硬件改进都会提高未来硬件改进的速度。简单地说，摩尔定律认为，如果第一次速度翻倍需要18个月，第二次则需要18个月；或者额外的9个月，之后，个月、个月，以此类推，走向速度奇点速度的上限最终可能会达到，尽管还不清楚这会有多高。杰夫·霍金斯JeffHawkins曾表示，一个自我完善的计算机系统不可避免地会遇到计算能力的上限：“最终，计算机的规模和速度都是有限的。我们最终会在停留在同一个地方；我们只会更快到达那里。不会有奇点。”
很难直接将基于硅的硬件与神经元相比较。但是Berglas（）出计算机语音识别正在接近人类的能力，而且这种能力似乎只需要0.01%的脑容量。这个类比表明，现代计算机硬件与人脑一样强大，只差几个数量级。
指数增长
10年来摩尔定律的更新版本（基于库兹韦尔的图表）。最新的7个数据点都是NVIDIA图形处理器。
雷·库兹韦尔（RayKurzweil）写道，由于范式的转变，指数增长的趋势将摩尔定律从集成电路扩展到更早的晶体管、真空管、继电器和机电计算机。他预测，指数级增长将持续下去，几十年后，所有计算机的计算能力都将超过（未增强的）人脑，与超人人工智能的出现时间大致相同。
摩尔定律所建议的计算技术的指数增长通常被认为是在相对不远的将来出现奇点的一个理由，许多作者已经提出了摩尔定律的推广。计算机科学家和未来主义者HansMoravec在8年的一本书中提到指数型增长曲线可以沿着集成电路之前的早期计算技术进行延伸。
RayKurzweil假设了一个加速回报定律，其中技术变革的速度（更广泛地说，所有进化过程）急剧增长。从年到年，摩尔定律以与莫拉维克提案相同的方式呈指数增长，并包括材料技术（尤其是应用于纳米技术）、医疗技术和其他技术，计算机计算人均信息的特定应用能力大约每1个月翻一番；世界通用计算机的人均容量每18个月翻一番；全球人均电信容量每个月翻一番；世界人均存储容量每0个月翻一番。另一方面，有人认为，以1世纪奇点为参数的全球加速度模式应该被描述为双曲线增长而不是指数型。
库兹韦尔将“奇点”一词用于描述人工智能（相对于其他技术）的快速增长，例如他写道：“奇点将允许我们超越生物体和大脑的局限……后奇点时代，人类与机器之间将不再有区别。”库兹韦尔相信奇点将在大约05年之前出现，那时基于计算机的智能将明显超越人类脑力的总和，在这个日期之前计算机技术的进步“并不代表奇点”，因为它们“还不符合智慧的深刻扩展”。
加速变革
根据库兹韦尔的说法，他的15个关键历史事件范式转变列表的对数图显示出指数趋势。
一些奇点论的支持者认为，通过对过去趋势的推断，特别是那些缩减技术进步的差距有关的趋势，奇点是不可避免的。技术进步的背景下，较早使用“奇点”一词时，StanislawUlam讲述了与冯·诺伊曼关于加速变革的一次谈话：
一次围绕不断加速的技术进步和生活方式变化的对话，它使得人类历史上出现了一些基本的奇点，超过了这些奇点，如我们所知的那些人类的事务，将无法继续下去。
库兹韦尔声称，技术进步遵循指数增长的模式，遵循他所称的“加速返回定律lawofacceleratingreturns”。库兹韦尔写道，每当一项技术遇到障碍时，新技术就会出来克服这个障碍。他预测范式转变将变得越来越普遍，导致“技术变革非常迅速和深刻，以至于它代表着人类历史结构的一个断裂”。库兹韦尔相信奇点将在05年之前出现。他和Vinge预测的不同点在于他预测的是一个逐渐上升到奇点的过程，而Vinge预测了一个快速自我更新的超人类智能。
经常被引用的危险包括那些与分子纳米技术和基因工程有关的技术。这些威胁是奇点论的倡导者和批评者面临的主要议题，也是比尔·乔伊《连线Wired》杂志上所发表文章《为什么未来不需要我们Whythefuturedoesntneedus》的主题。
算法改进
一些智能技术，比如“种子人工智能”，通过修改自己的源代码，可能使自己不仅更快，而且更高效。这些改进将使进一步的改进成为可能，以此类推。
递归自我改进算法的机制在两个方面不同于原始计算速度的提高。首先，它不需要外部影响：设计更快的硬件的机器仍然需要人类来创造改进的硬件，或者对工厂进行适当的编程。AI可以既身处一个AI盒AIbox里面，又同时改进自己的源代码。
第二，和VernorVinge关于奇点的概念一样，对结果的预测要困难得多。虽然速度的提高似乎与人类的智能只是数量上的区别，但实际的算法改进在质量上是不同的。EliezerYudkowsky将其与人类智能带来的变化相比较：人类改变世界的速度比进化速度快数千倍，而且方式完全不同。同样地，生命的进化与以前的地质变化又有着巨大的不同和加速，而智能的提高可能会使变化再次变得不同。
由递归式自我改进的算法集合引起的智能爆炸存在着巨大的危险。首先，人工智能的目标结构在自我完善的情况下可能不是一成不变的，这可能会导致人工智能对原本计划之外的东西进行优化。第二，人工智能可以与人类竞争赖以生存的稀缺资源。
虽然不是恶意的，但没有理由认为人工智能会积极促进人类目标的实现，除非这些目标可以被编程，否则，它们就可能利用目前用于支持人类的资源来促进自己的目标，从而导致人类灭绝。
CarlShulman和AndersSandberg认为，算法改进可能是奇点的限制因素；虽然硬件效率趋于稳步提高，但软件创新更不具可预测性，可能会受到连续、累积的研究的限制。他们认为，智能爆炸在受软件限制的奇点情况中发生的可能性实际上比在受硬件限制的奇点更高，因为在软件受限的情况下，一旦开发出人类水平的人工智能，它可以在非常快的硬件上连续运行，廉价硬件的丰富将使人工智能研究不那么受限制。一旦软件知道如何使用硬件，大量的硬件就可以被释放出来，这被称为“计算过剩”。
危机
一些批评者，如哲学家HubertDreyfus断言计算机或机器无法实现人类智能，而其他人，如物理学家史蒂芬·霍金StephenHawking，则认为如果最终结果是相同的，那么智力的定义其实无关紧要。
早在19年，约翰·W·坎贝尔JohnWoodCampbellJr.的短篇小说《最后的进化Thelastevolution》中就对这个想法进行了描述。
心理学家史蒂芬·平克StevenPinker在年指出：
……没有一点理由相信奇点即将到来。你可以想象一个未来并不能证明它是可能出现的。看看穹顶城市、喷气式飞行器通勤、水下城市、一英里高的建筑和核动力汽车：这些都是我小时候未来主义幻想的主要内容，然而它们都没有成真。纯粹的计算能力不是能神奇地解决所有问题的仙尘……
加州大学伯克利分校，哲学教授约翰·塞尔JohnSearle写道：
毫不夸张地说……，计算机没有智能，没有动机，没有自主，也没有智能体。我们设计他们，使他们的行为好像表示他们有某种心理，但其实没有对应这些过程或行为的心理现实……机器没有信仰、愿望或动机。
MartinFord在《隧道中的灯光：自动化、加速技术和未来经济TheLightsintheTunnel:Automation,AcceleratingTechnologyandtheEconomyoftheFuture》中提出了一个“技术悖论”：在奇点出现之前，经济体中的大多数日常工作都将自动化，因为这所需的技术水平低于奇点。这将导致大规模的失业和消费者需求的骤降，这反过来又会破坏投资于实现奇点所需技术的动机。工作的替代越来越不再局限于那些传统上被认为是“例行公事”的工作。
TheodoreModis和JonathanHuebner认为技术创新的速度不仅停止上升，而且现在实际上正在下降。这种下降的证据是计算机时钟速率的增长正在放缓，尽管摩尔关于电路密度指数增长的预测仍然成立。这是由于芯片产生过多的热量，当它们以较高的速度运行时，这些热量不能足够快地散去，可能导致芯片熔化。在未来，随着更节能的CPU设计和多单元处理器的发明，速度的提高可能实现。尽管Kurzweil利用了Modis的（工作成果）作为资源，同时Modis的工作围绕着加速变革，但Modis对Kurzweil的“技术奇点”理论保持距离，称其缺乏科学严谨性。
在一份详细的实证报告《计算的进步TheProgressofComputing》中，威廉·诺德豪斯WilliamNordhaus认为，在年之前，计算机遵循传统工业经济增长缓慢的趋势，因此拒绝了摩尔定律对19世纪计算机的推断。
在年的一篇论文中，Schmidhuber指出主观上“值得注意的事件”出现的频率似乎正在接近1世纪的奇点，但他提醒读者，对这些主观事件的情节要持保留态度：也许对近期和远期事件的记忆差异，可能会造成一种在根本不存在的情况下变化加速的错觉。
保罗·艾伦PaulAllen认为，与加速回报相反的是复杂性制动