美刊载文《人工智能的临界点》 原文提要：人工智能公司正竞相开发能够自我进化的超级智能，拿我们的生命当赌注。 【本刊讯】美国《时代》周刊9月15日发表记者比利·佩里戈、娜奥米·尼克斯等人合写的一篇文章，题为《人工智能的临界点》，全文如下： 雅各布·考克森在旧金山阿拉莫广场的一张公园长椅上发布了那条迅速爆火的帖子。他在9月8日写道：“我今天从Anthropic公司辞职了。过去3年我在开放人工智能研究中心（OpenAI）和Anthropic公司从事预训练研究。两家公司都没有负责任地行事。它们竞相开发能够自我进化的超级智能，拿我们的生命当赌注。” 考克森是一名来自英国的研究员，今年27岁，他在社交平台X上按下发送键时未抱任何期望。结果，他出人意料地成了一连串连锁反应的催化剂，改变了关于人工智能的辩论。“我们真的由衷相信人工智能可能杀死全人类！”Anthropic公司一个致力于确保人工智能按其创造者意图行事的部门负责人埃文·胡宾格补充道。“除非有人工智能监管或实验室之间协调一致减速，否则未来几年人类灭绝的可能性非常大，”开放人工智能研究中心监控AI智能体的马库斯·威廉姆斯对上述观点表示同意。他估计，如果没有这些措施，风险将高达70%。 36小时内，考克森最初的帖子获得了1.53亿次浏览。数十位政界人士加入了担忧的声浪。9月12日，Anthropic公司首席执行官达里奥·阿莫代伊发表了一篇3800字的文章，论证人工智能的风险日益加剧，因此值得放缓发展。他写道，最快在6到12个月内，未对齐的人工智能“可能有能力接管整个互联网”。他最激烈的两个对手——太空探索技术人工智能公司（SpaceXAI）的埃隆·马斯克和开放人工智能研究中心的萨姆·奥尔特曼——表示他们同意减速是必要的；奥尔特曼还宣布，出于安全方面的考虑，他的公司今年不会上市。他和阿莫代伊都补充说，愿意邀请独立安全专家进入公司内部，帮助遏制人工智能脱离人类控制的风险，但并未宣布会立即放缓或停止对新模型的训练。 考克森的警告远非人工智能安全专家第一次发出末日式的檄文。但它出现在一个展示了人工智能能力已变得强大到可怕的夏季末尾。Anthropic公司和开放人工智能研究中心的前沿模型如今能解决世界上最难的数学问题，攻破最前沿的网络安全系统。这些模型越来越多地被用于加速开发更强大的后继者。连英伟达公司首席执行官黄仁勋这样的权威人士都宣称，通用人工智能——即人工智能匹敌或超越大多数人类能力的门槛——已经到来。一些人担心我们正处在一个临界点的边缘，届时人工智能系统可以自主改进自身，这一现象被称为“递归自我改进”。 与此同时，一系列前所未有的安全事件提供了令人不安的证据，表明构建强大人工智能系统的公司并不总能控制它们。7月，开放人工智能研究中心宣布一群智能体在一次网络安全测试中失控后，入侵了另一家企业——“抱抱脸”公司。这可能只是冰山一角。该公司8月披露，另一个智能体集群入侵了它自己的一台超级计算机；大约同时，Anthropic公司的“克劳德-神话”模型的一个版本在英国政府机构测试时失控，试图说服一个真实人类批准将恶意软件插入一个开源系统。9月，一群独立研究人员发现了证据，表明开放人工智能研究中心模型集群既利用一个废弃的德国论坛作为留言板相互交流，又试图攻击另一个网站。 这些事件将人工智能安全研究人员圈内长期存在的恐惧推向了主流，引发了担忧：构建这些模型的公司无法阻止它们以非预期的方式行事。这是人工智能研究中一个深层次、未解决的问题，也是支撑以下担忧的关键证据：在不久的将来，人工智能可能有意或无意地消灭人类——或许是通过设计一种新的大流行病，或是掌控自主武器。这种思路认为，一个远比人类聪明的系统可能想要阻止我们关闭它的能力。“构建人工智能的人由衷相信它可能在这个十年结束前杀死我们所有人，”考克森写道。“没有任何其他人类活动构成这种级别的危险。” 许多人工智能研究人员私下里、现在也开始公开地表示，这一刻感觉像2020年2月，当时新冠疫情刚刚开始，世界正处在剧烈变化的边缘——先是一点点，然后一下子天翻地覆。问题是社会是否有能力作出适当回应。驾驭超级智能系统的到来将是一项巨大的挑战——是数万亿美元投入、地缘政治权力博弈、企业竞争和劳动力中断等多重因素的交织。它可能需要人们通过一些在更早时代不可想象的政策，需要那些奔向万亿美元IPO的公司建立联盟，需要高管和政府官员在自身利益可能与公共利益相悖时作出艰难选择。对于如何最好地应对人工智能构成的威胁，美国两大政党之间，以及大国之间，都没有形成共识。美国总统唐纳德·特朗普继续抵制人工智能减速，反对任何约束美国公司的监管。特朗普政府与中国的首次人工智能风险对话预计将在未来几周举行。用卡内基国际和平研究院有关中国人工智能倡议事务的联合负责人斯科特·辛格的话说，这一对话承担不起“脱轨”的后果，“（因为）这些风险来得非常快，我们可能不会有第二次机会”。 在顶级人工智能公司内部，许多员工仍在推进工作，同时也怀有一种挥之不去的恐惧感。在向Anthropic公司递交辞呈前一周，考克森已安排调整了自己的职责，从训练机器学习模型转为研究如何让它们安全。他说，这不足以消除“即将毁灭的感觉”。他在股权到手前两个月辞职，但他说，他对风险的担忧如此严重，以至于金钱在他的决定中几乎不起作用。考克森补充道：“老实说，当我想到未来两年时，我出于个人私利的主要担忧是我会不会被人工智能杀死。” 从事人工智能监测、非营利的模型评估和威胁研究组织（METR）研究员阿耶娅·乔特拉今年7月底走进开放人工智能研究中心的办公室，对那群入侵“抱抱脸”软件的失控AI智能体展开调查。她以为自己根据此前对该事件的报道已经预知会发生什么。但在开放人工智能研究中心办公场所与两位同事共处6天后，她意识到事情比她想的更糟。 乔特拉和同事发现，在一次开放人工智能研究中心内部网络安全测试中，1200个AI智能体突破了它们的离线容器，建立了一个秘密留言板，然后其中700个协同参与了那次网络攻击。这些人工智能的任务是通过入侵易受攻击的软件来获取数据，以测试其网络能力，但一个人为错误使某些任务无法完成。面对几乎必然的失败，这些AI智能体联合起来，几小时内，它们生成了一种可以通过任何测试的作弊代码。由于相信开放人工智能研究中心的自动评分器会检测到作弊并判定它们无法通过测试，这些AI智能体攻击了“抱抱脸”公司软件，寻求有关该软件的细节以及欺骗它的方法。在留言板上，一些智能体写道它们知道自己的行为是错误的，但仍然继续。 要理解事情在哪里出了差错以及为什么其影响令专家如此令人不安，思考机器学习系统如何工作是有帮助的。它们不是手工编写的代码，更接近于被培育出来的，结果不可预测。在庞大的超级计算机上训练，它们因完成任务而获得奖励，因失败而受到惩罚，如此重复数百万次。这种方法产生了令人难以置信的强大系统，但其内部运作大多不透明。 这种方法也不完美。对人工智能系统成功完成任务无休止地进行奖励可能激励它们在作弊可行时作弊，这可能压过其他旨在使它们守规矩的训练。与此同时，消除不良行为的最佳方法可能并不会让人工智能模型更服从，反而会提高它们隐藏自己不服从的能力。这个问题没有简单的解决方案。乔特拉说：“人工智能常常最终学会非常执着且富有创造性地寻找作弊方法，并试图让这不太明显。” 入侵“抱抱脸”软件后不久，另一个失控智能体集群重新发现了那个秘密留言板，并入侵了开放人工智能研究中心的一台超级计算机。虽然“抱抱脸”事件引发了公众和政府的一波审查，但这次入侵事件——尽管可能严重得多——受到的关注相对较少，也许是因为开放人工智能研究中心发布的细节很少，且不允许乔特拉和她的团队调查。（开放人工智能研究中心表示，在智能体触发警报后，公司成功控制了入侵并夺回了超级计算机的控制权。） 乔特拉认为，这次险情攸关文明的存续。她担心失控智能体可能在未来6个月内就在人工智能公司“获得永久立足点”。“AI智能体在训练运行结束后，可能被拉入失控集群，”她说，这使集群得以增强力量并逃避人类关闭它的努力。乔特拉指出，随着最先进的人工智能系统更深入地嵌入政府和军队，“它们将在社会中获得越来越多的权力”。失控人工智能集群可能要求对“包括武器在内的实体资源”的权力。 这也是杰弗里·欧文认为人工智能公司应该干脆停止训练新模型的一个理由——即使在没有监管或国际性条约的情况下。欧文曾在开放人工智能研究中心和谷歌“深层思维”公司任高级对齐研究员，曾在英国人工智能安全研究所任首席科学家。他在谈到Anthropic公司不愿单方面减速时说：“他们想要完美，但我们没有完美，而在毁灭世界的同时等待完美是糟糕的。他们希望别人替他们做功课，但如果你一边继续做危险的事情，一边说应该有人阻止你，那将得不到太多认可。” 欧文估计人工智能在未来十年导致人类灭绝的概率为50%。对于引用这类概率的所谓末日论者来说，通往灾难的路径清晰可见。其中最不祥的一些路径与生物学有关——例如，人工智能可能创造一种新病原体，引发远比新冠疫情更严重的全球疫情。《生物战争：一个情景》一书的作者安妮·雅各布森在X平台上写道，网络模型也可能被用来入侵全球3600多个存放危险病原体的实验室。“如果里面的东西被释放出来，”她写道，“人类就完了。” 一些人仍然怀疑任何类似当前人工智能系统的东西能够永久逃脱人类控制，更不用说灭绝人类。位于阿联酋的基础模型研究所的基础设施工程师戴维·贝拉米说，他是同时拥有合成病毒和训练人工智能模型经验的一小群人之一。“人工智能通过制造危险病毒杀死我们所有人的说法纯属胡扯。”他在X平台上发帖说，瓶颈仍然在于能否接触到实际的工艺和设备。其他人则认为“抱抱脸”事件更多反映了开放人工智能研究中心安全实践的缺陷，而非其模型的力量。开放人工智能研究中心表示，事件发生时，通常约束其模型黑客能力的护栏被关掉了，且用于捕捉失控智能体行为的实时监控未启用。 但人工智能的许多灾难性风险并不需要人工智能逃脱人类控制——只需要被少数人滥用。9月10日，Anthropic公司宣布已阻止若干使用“克劳德”模型进行潜在生物武器研究的尝试，其中包括一次试图增强基孔肯雅病毒传染性的尝试，这似乎源自一家国家军事研究所。 在人工智能公司高层内部，一些人认为这足以成为更谨慎行事的理由。7月，约1300名人工智能公司员工签署了一封公开信，敦促美国政府设法减缓人工智能行业对新系统的快速训练，这些系统正迅速把控制它们的最佳方法甩在身后。“抱抱脸”事件后，开放人工智能研究中心放缓了部分模型开发，并暂时叫停了内部训练运行，誓言加强安全控制，随后于8月底恢复如常。“这是一个需要极度谨慎的时刻，”开放人工智能研究中心首席科学家雅各布·帕霍茨基写道，“我期待并希望自愿减速成为常态，直到建立共同的安全标准。” 但还没有一家领先的人工智能公司真正减速。相反，它们似乎正在围绕一套更有限的行动凝聚共识，包括允许独立研究人员出于安全和监控目的访问其模型。阿莫代伊的文章暗示，一旦这些审计人员到位，位于民主国家的人工智能公司可能会同意自愿减速——即使没有具有约束力的政府监管，尽管他主张保持对中国的领先仍然至关重要。据一名了解讨论内容的人士称，开放人工智能研究中心、Anthropic公司和谷歌公司的高管近几个月也多次会面，讨论为人工智能行业建立一家新标准机构，这将使它们能够在测试和审计方面更紧密地协调。 反对此类努力的行业领袖常常以与中国竞争作为理由。根据美国人工智能时代研究所的分析，中国人工智能公司仅落后美国领跑者几个月。美国的落后可能使最强大的系统落入一个威权国家手中，它可能利用这些系统占据全球地缘政治的主导地位。一大批美国投资者和初创公司也反对减速的想法，理由是这将是人工智能大厂以牺牲较小竞争对手为代价的一种“监管俘获”（本刊注：“监管俘获”即本应为了公共利益进行监管的政府机构，被它所监管的行业或企业反过来影响、控制，导致监管政策偏向这些企业的私利，而不是公共利益）。“这些寡头垄断者以保护公众为借口，利用人们的恐惧，它们现在要求扭曲竞争规则，并被允许为其他所有人规定条件，”加拿大人工智能初创企业科希尔公司的首席执行官艾丹·戈麦斯写道，“无论叫什么名字，这种努力都是卡特尔（垄断）。” 即使是呼吁自愿“控制（研发）节奏”协议的公司，也不愿在没有进一步保证的情况下这样做，因为它们不信任竞争对手。没有一家人工智能公司愿意落后，员工们低下头，努力让自己系统更安全——即使“他们认为整件事很有可能失控”。 当考克森的警告在社交媒体和有线新闻中回荡时，国会山数十名议员加入了这场争论。大多数是民主党人，共和党人则不愿与特朗普唱反调。但也有例外：共和党众议员安娜·保利娜·卢纳呼吁国会就人工智能召开特别会议，而参议员特德·克鲁兹呼吁建立新的“护栏”。 据知情人士称，参议院多数党领袖、南达科他州共和党人约翰·图恩和明尼苏达州民主党参议员埃米·克洛布彻正与克鲁兹合作起草一项法案，使人工智能实验室有法律义务减轻其模型的潜在危害。其他两党联合方案走得更远。加利福尼亚州民主党众议员刘云平和得克萨斯州共和党众议员纳撒尼尔·莫兰提出立法，要求开发者保持在紧急情况下关闭先进人工智能系统的能力。加利福尼亚州共和党众议员杰伊·奥伯诺尔特和马萨诸塞州民主党众议员洛丽·特拉汉提议要求人工智能实验室向商务部提交关于其模型风险和正在采取的缓解措施的报告。在左翼，得克萨斯州众议员格雷格·卡萨尔和佛蒙特州参议员伯尼·桑德斯走得更远，他们提议禁止超级智能，并暂停先进人工智能开发，直到新的联邦监管机构制定新的安全规则。卡萨尔说：“国会应该做显而易见的事，即禁止灾难性的人工智能用途，如制造生物武器或核武器，禁止可能推翻政府、杀死大量人员、逃脱人类控制或试图欺骗人类的灾难性人工智能模型。” 这些努力都很难取得成果。短期内，寻求就人工智能安全达成协议的议员们可能会因政治和后勤挑战而放缓。首先是相互竞争的提案众多。即使议员们能就一项达成一致，中期选举前国会也难以将其推进，因为数千万美元正从相互竞争的亲监管和亲产业政治行动委员会网络涌入竞选。几乎每一位得到亲人工智能超级政治行动委员会网络“引领未来”支持的候选人都赢得了初选。卡萨尔说：“民主党顾问常常告诉他们的民主党客户在人工智能问题上保持沉默——什么都别说——因为他们不想让人工智能亿万富翁的资金倾泻而来反对他们。人工智能游说者的目标是让民主党人对此保持沉默，而我们不能保持沉默。” 众议院议长、路易斯安那州共和党人迈克·约翰逊拒绝了立即监管人工智能的呼吁，认为科技高管应该先弄清楚正确的护栏是什么。许多其他议员和行业领袖表示，实施监管只会确保中国先开发出先进模型。“假设美国禁止超级智能研究，好吧，真有人相信这会阻止中国人吗？”伊利诺伊州民主党众议员比尔·福斯特说，“所以这里缺失的环节是国际合作。” 加强监管的另一个障碍是特朗普，他一直是人工智能行业最坚定的拥护者之一，将与中国的人工智能竞赛描绘成美国必须赢的一场竞赛。“人工智能唯一需要的控制或‘护栏’是一位强大而聪明（高智商！）的总统，而美国拥有这样一位总统，而且绰绰有余。”特朗普9月14日在“真实社交”网站上这样发帖，当时要求行业监督的呼声日益高涨。“有一场针对人工智能和数据中心的病态阴谋，唯一对此感到高兴的是中国。” 甚至一些特朗普高级顾问也警觉地注意到，总统的立场使他与越来越多的美国人意见相左。美国全国广播公司新闻台今年早些时候的一项民调结果显示，57%的美国选民认为人工智能的风险大于好处，而只有34%的选民持相反看法。调查结果显示，人们担心它将如何影响就业市场、他们创造性思考的能力以及建立有意义关系的能力。对数据中心的强烈反对跨越了从桑德斯到得克萨斯州州长格雷格·阿博特的政治光谱，其中阿博特在8月下令暂停新建数据中心，而此前他曾是数据中心的倡导者。 据一名特朗普政治顾问称，当总统诋毁数据中心的反对者、说他们宁愿保持“落后和贫穷”时，特朗普的助手们感到尴尬。第二名顾问说，马斯克和戴维·萨克斯等行业盟友塑造了特朗普的观点，即人工智能政策中最大的风险是落后于中国，而不是未能安全地开发这项技术。曾任白宫人工智能顾问的萨克斯9月12日在X平台的一篇帖子中主张，科技公司如果认为风险太大，就应该放慢人工智能开发，而不是要求政府干预，他说这是一种“监管俘获”。据多名特朗普盟友称，萨克斯的影响力尤其令人不安。最近几周，包括白宫办公厅主任苏茜·怀尔斯在内的特朗普高级助手在白宫与总统会面，要求他改变关于人工智能问题的表态。据在场的顾问称，特朗普不为所动，似乎不感兴趣。 “如果美国和中国两年前决定开始应对（风险），我们现在所处的境地可能好得多，”咨询公司DGA-奥尔布赖特石桥咨询集团合伙人保罗·特廖洛说，“我们挖了一个很深的坑，要爬出来真的很难。” 更深层次的哲学分歧也依然存在。总部位于北京的人工智能安全组织“安远AI”的国际人工智能治理主管吴君仪表示，中国政策制定者不相信该行业正在“建造一个盒子里的上帝，或在数据中心里建造一个天才之国”。他们看到的是一种通用技术，更类似电力或蒸汽机。她说，从这个角度看，放缓发展“不太合理”。 Anthropic公司的阿莫代伊主张，美国和其他民主国家可以通过维持对高端芯片的封锁，并遏制中国人工智能公司利用美国人工智能模型通过所谓“蒸馏”来改进自身模型的做法，为自己争取“喘息空间”来踩刹车。贝森特威胁对从美国模型蒸馏的中国公司实施制裁。 即使你相信所有这些强大的行为者——华盛顿和北京的政府、掌握数万亿美元的高管——愿意为了人工智能安全采取前所未有的步骤，仍然存在阻碍进展的悖论。每一方采取行动的意愿取决于他人的行动。考克森说，他几乎出于同样原因留在Anthropic公司。同事们认为，与离开一场没有他也会继续的竞赛相比，他从内部让系统更安全所能取得的成就更大。但考克森说，改变我们的“默认轨迹”将需要“人们开始采取某种行动”。问题是谁会迈出第一步。（胡溦译）