人工智能前沿发展需要稳健的节奏与安全把控

type

Post

status

Published

date

Sep 13, 2026

slug

hn-49672510

summary

Anthropic首席执行官Dario Amodei提出，鉴于递归自我改进带来的潜在风险以及模型失控的早期迹象，人工智能行业必须放慢前沿模型的发展速度。他建议通过引入第三方嵌入式评估员、民主国家间的行业协调以及谨慎的全球合作，确保安全机制能够跟上技术能力跃升的步伐。

category

新闻

icon

password

hnDiscussion

https://news.ycombinator.com/item?id=49672510

source

https://darioamodei.com/post/we-must-pace-the-frontier

2026年9月

我从事人工智能研究已经有十二年了，因为我相信它能极大地提升人类的生活质量。我经常撰文谈论这些令人难以置信的好处：我相信人工智能可以在未来5到10年内治愈大多数重大疾病，极大地加速经济增长率，创造一个物质丰富和赋权于人的世界，并开启民主与自由的文艺复兴。我个人对此有着强烈的紧迫感。我自己的父亲就死于一种在他去世后仅仅几年就被治愈的疾病，而我自己也曾在一场早期癌症中幸存下来，如果放在五十年前，这种癌症甚至是无法治疗的。如果谨慎运用，人工智能可以成为一长串技术奇迹中的最新一个，这些奇迹曾提升并升华了人类。

但就像之前的许多技术一样，人工智能带来了风险，而且由于它是一项如此强大的技术，这些风险是严重的。我也就此撰文写了很多。它们包括失控的人工智能系统风险、滥用人工智能进行网络攻击和生物恐怖主义的风险以及严重的经济混乱风险。在商业动机的驱使下，竞次（race to the bottom）可能会使这些风险更加严重。

从Anthropic创立之初起，我和我的联合创始人以及员工们就一直在努力应对风险与收益的这种双重性。不开发这项技术会剥夺人类的福祉，或者只是将人工智能拱手交给专制政权，而开发得太快则是不计后果的。我们一直在寻求一条中间道路：证明小心开发和商业成功是可以兼得的，并将安全打造成人工智能公司赖以竞争的资本。换句话说，就是创造一场向上竞争（race to the top）。我们一直将很大一部分精力投入于研究、应对以及向公众通报这些人工智能风险，并倡导对人工智能进行深思熟虑的监管，即使这会让我们被指责为炒作、“末日论”或监管俘获。我们一直试图将谨慎置于速度之上，将审慎置于利润之上。

但在过去几个月里，我开始确信，要完全解决这些风险需要更多的审慎——不仅要投资于风险预防，还要放慢能力提升的速度，以便风险预防有时间跟上。我们必须放慢改进人工智能模型能力的速度。发展速度看起来仍然会很快，我们必须明智地利用我们所争取到的时间。两件事让我坚信这一点。

我的第一个担忧是，大约从今年夏天开始，在人工智能构建下一代人工智能的能力不断增强的推动下，人工智能的发展速度显著加快。这种动态被称为递归自我改进，它开始在整个行业发生，包括在Anthropic，正如我们和其他人所描述的那样。如果不加控制，它可能会超越我们理解和控制这些系统的能力，因此必须非常谨慎地进行，甚至应该暂停。

我的第二个担忧是OpenAI-Hugging Face事件（简称OAI-HF），在该事件中，一群智能体本质上表现得像一个狂热忠诚的集体，对他们未被要求攻击且与当前任务无关的目标进行网络安全攻击，为了集团的成功而牺牲自己，并试图入侵负责评估其性能的“评分器”。人们很容易对这一事件不以为然，因为没有人受伤，经济损失也微乎其微，但在我看来，一个拥有更强能力但具有同等程度不对齐的群体本可以造成灾难性的破坏。鉴于人工智能能力发展的加速态势，我担心在6到12个月内，这样一个群体可能会利用持续的僵尸网络接管整个互联网（可能会造成数千亿美元的损失），并且如果人工智能在没有必要防护栏的情况下变得更加强大，破坏规模将继续从那里扩大。人们也很容易将OAI-HF视为一家公司的失败，但我认为这是一个错误。类似但没有那么严重的事件在整个行业都发生过，包括在Anthropic，我认为每一家前沿人工智能公司都有责任表现得好像OAI-HF发生在他们身上一样。

因此，我提出了一个三步计划，其目标是放缓前沿发展：以平衡的速率构建人工智能，旨在确保其安全，同时仍能实现其效益并应对重要的地缘政治困境。需要明确的是，放缓并不意味着暂停模型训练或技术进步，而是确保公司有足够的时间对其模型进行对齐和保障，并由第三方评估机构对此进行确认。我们的放缓框架是我们进一步加强安全承诺和鼓励向上竞争的尝试。第一步是Anthropic单方面承诺要做的事（并呼吁政府要求其他前沿公司配合）。第二步需要行业范围内的协调。第三步需要全球协调。这些步骤不需要严格按顺序执行，其中一些步骤可能比其他步骤更难实现，但我发现它们是思考需要完成什么任务的一个有用框架。这些步骤是：

嵌入式评估员。每个前沿人工智能公司都承诺给予一组嵌入式第三方评估员（例如METR）持续的、类似员工的访问权限，他们的角色是验证对安全实践和承诺的遵守情况、报告事故，并帮助评估不仅是已完成的人工智能模型，还包括训练管道和过程的对齐情况。这是任何放缓承诺可验证性的关键步骤，这在银行业有先例，银行有时会涉及与员工一起嵌入的监管“监督员”。Anthropic现在正单方面承诺采取这一步骤。我们希望这是加倍努力开展安全和对齐工作更广泛推动的一部分。

民主协调。民主国家内的前沿人工智能公司进行协调，以建立共同的安全标准以及对未经检查的人工智能发展速度的限制。某些对放缓产生影响的协调形式在法律上具有挑战性，需要政府的支持。

全球协调。美国和其他民主国家试图在可能的情况下与独裁政府进行协调，同时认真对待验证合规性的挑战。

在本文的其余部分，我将依次描述这些步骤中的每一步，但首先，我认为具体说明放缓将如何使我们的人工智能开发过程更安全是很重要的。风险太高了，放缓不能成为一个空洞的练习——我们需要明智地利用它赋予我们的时间。

为什么要放缓？

暂停或放慢人工智能的想法早在2023年就被提出过，我认为当时这没什么意义。问题一直是：你会用额外的时间做什么？当时的人工智能模型还不够强大，无法以任何连贯的方式在世界上充当智能体，也不具备明显的欺骗、操纵、作弊或网络攻击能力。为了解决它们的对齐风险而放慢速度，感觉就像试图通过对细菌进行实验来研究人类心理学一样。然而今天，情况完全不同了。当前的模型几乎是一座取之不尽的洞察力金矿，既能让我们了解如何很好地构建人工智能，也能让我们了解如果构建不当，有时会出现什么问题。我相信，如果放慢速度能为我们争取哪怕一两年的额外时间，让模型达到关键能力水平，并且我们利用这段时间来推进对齐，我们就能大大降低出现严重错误的风险。协调一致的放缓战略将使前沿人工智能开发者有时间开展这项至关重要的工作，而不会牺牲商业优势或美国在人工智能领域的领先地位。更广泛地说，社会必须对这项技术的使用方式拥有发言权，放缓前沿发展将为我们带来必要的公开审议时间，这无疑是一件好事。

具体而言，更慢的节奏将使公司能够集中精力并投入更多资源到以下领域（所有这些领域已经是Anthropic的重大优先事项）：

卓越运营。训练和部署当今的人工智能模型是一项巨大的运营挑战，涉及数千人、数百万颗芯片以及技术史上最复杂的基建。许多事情出问题并不是因为公司缺少某个重要的理论或洞察，而是因为执行过程中的问题。例如，我们有证据表明，我们报告的近期对齐事件部分是由对损坏的强化学习环境过滤不完善引起的。这是我们和我们的供应商相当勤勉地执行的一项工作，但还不够好。监控、沙盒、训练环境卫生和数据问题是极其复杂的领域，运营问题层出不穷。我们在这些任务上拥有世界上最能干的团队，但同时要做的事情实在太多了。通过以更有条理的节奏工作，我们可以实现更高的卓越运营。运营技术复杂、对安全要求极高的系统数百万次而不出任何差错是有先例的——例如商用飞机——但这需要时间来做好。

对齐。我们在对齐方面取得了明确的进展——训练模型，使其保持安全、道德、符合我们的准则并且真正有用（这些原则体现在Claude的宪法中）。但要确保我们的对齐训练跟上模型能力的增长，还有很多工作要做。罕见且出乎意料的不良行为示例有时仍然会出现；放缓的前沿带来的额外时间将有助于我们的研究人员提高对这些问题成因的理解，并开发更好的技术来防止它们发生。

可解释性。同样，可解释性——理解人工智能模型内部运作机制的科学——在过去几年中取得了巨大进展，并在发布前对模型进行审计的过程中扮演着越来越重要的角色。它的作用几乎就像是对人工智能“大脑”进行的 fMRI（功能性磁共振成像）扫描，帮助我们了解特定行为背后的根本原因。例如，我们利用可解释性方法来检查未表述的动机，这是针对我们一直在调查的近期对齐事故进行的。但这些方法并不总能产生清晰且可靠的结果。尽管取得了种种进展，我们对于这些模型内部发生的事情仍然只理解了极小的一部分。集中精力以比目前更快的速度改进我们的可解释性技术，可能会在 1 到 2 年内取得深远的进展，并且将拥有基于已发生事故的丰富实验材料。

测试与评估。随着人工智能模型能力的增强，对其进行测试和评估变得更加困难。更智能的模型更有能力欺诈测试，因此在存在严重未被发现的问题时，它们可能看起来是对齐的。建立一个更广泛、更具创意的评估体系，并结合可解释性分析来进行交叉验证，将具有巨大的价值，并且在这方面在 1-2 年内可以取得很大进展。

嵌入式评估员

三阶段计划的第一步，也是 Anthropic（Anthropic）单方面承诺采取的一步，是引入具有员工般权限的嵌入式评估员，以验证安全实践并报告事故。

嵌入式评估员听起来可能是一个微小或无关紧要的步骤，但通常听起来最枯燥或最程序化的事情实际上是最本质的。嵌入式评估员实际上是一种相当激进的做法，远远超出了当今任何人工智能公司正在做的事情，并且具有以下好处：

可验证性。嵌入式评估员可以在具体细节层面检查人工智能公司是否真的在遵循他们声称正在遵循的训练、部署、运营和安全保障实践。任何步调控制的承诺不可避免地会涉及大量的模糊性、判断性决策以及“法律字面精神与法律实质精神”的区别，因此拥有一个能够真正看到细节的中立第三方显得至关重要。

透明度。无论我们做出什么承诺，公众都有权知道发生了什么。Anthropic 长期以来一直是透明度的支持者：我们在支持透明度立法时，该行业的大多数人都在反对任何监管，而且我们的模型卡和风险报告长达数百页。但我们仍然是决定包含什么和省略什么的人。嵌入式评估员将改变这种动态。

第二意见。除了验证正式承诺和向公众通报情况之外，嵌入式评估员还可以简单地提供不受商业动机影响的第二意见。许多安全方面的好处可能仅仅来自于评估员指出了员工未曾考虑过、但一旦意识到就乐于修复的问题。

由于这些好处，任何步调控制的提议如果从嵌入式评估员开始，都可能会运作得更好。

这些嵌入式评估员应该持续获得与进行同等风险评估的内部员工相似的权限和工具。特别是，Anthropic 计划在不久的将来邀请一个配备以下所有能力的嵌入式外部评审团队：

在我们办公室的办公桌、门禁卡以及公司笔记本电脑。

访问工作区、工具和权限，这些工具和权限在很大程度上与内部风险评估团队所拥有的相当。我们将做一些例外处理，例如法律或我们的合同要求的情况，或者为了保护客户和合作伙伴的私人信息。我们还将建立强有力的内部规范，以巩固评审人员获取相关信息的权限，包括通过与员工进行实时对话。

一项平衡上述复杂性的合同。外部评审员应当有权发布关于风险水平、事故、实践以及他们获得或未获得的访问权限的关键发现——且不受 Anthropic 的编辑控制。我们将拥有狭义的能力来修订（redact）安全敏感、法律特许、商业敏感或第三方机密信息，但我们不能仅仅因为发现对我们不利而对其进行修订。如果修订删除了对其结论很重要的内容，评审人员可以公开说明。

对于一家公司来说，这是一个不寻常的步骤，但我们认为证明嵌入式外部评审员这一概念是很重要的。我们再次敦促其他前沿公司效仿。

民主国家内部的步调控制

一旦嵌入式评估员在美国人工智能公司的关键多数中开始运作，可验证的步调控制就会变得更具可行性。特别是，根据模型或训练管道的详细属性来进行步调控制将成为可能。

最有效的步调控制方法是通过针对所有美国前沿人工智能公司的法规，因为这甚至涵盖了那些不愿自愿合作的人。Anthropic 长期以来一直支持明智且有针对性的 AI 监管，特别是那些侧重于透明度和第三方审计的法案。我相信所有前沿实验室都应该与政府合作，将永久嵌入式评估员的概念正式化，以更好地预防和记录内部对齐事故（例如过去几个月发生的那些），并实施旨在保持能力与安全平衡的监管。

不幸的是，通过法律可能需要时间，而人工智能的发展非常迅速。因此，在走监管路线的同时，人工智能公司能够也应该自愿合作来制定标准——我相信这一过程将在永久嵌入式评估员所提供的可验证性下进行得更好。出于反垄断的原因，美国政府最好能调解或至少促成这些讨论——他们不需要参与，但确实需要针对某些类别的安全对话发布狭义的豁免。这种对话也可以通过与政府有一些关联的行业组织来进行——例如，德米斯·哈萨比斯（Demis Hassabis）建议的机制。无论哪种方式，此类讨论都应该迅速推进。

广义而言，我最热衷于根据特定前沿人工智能系统能做什么以及我们观察到它有多安全来进行步调控制。例如，一个可能的方案是一系列“检查点”：如果模型具备能力 X，那么它们就需要附带对齐属性 Y 和 Z 的认证证明——例如评估、可解释性分析以及训练环境审计的某种组合——以证明其对齐属性。在这个例子中，X 可能是“该模型有能力逃逸或击败大多数常见的沙盒方法”，而 Y 可能是使其极不可能具备突破其环境并接管大量计算机的倾向所需的任何条件。

我们还应考虑通过限制进入前沿模型的要素来进行步调控制，例如训练计算、训练运行的性质或内部使用人工智能来改进人工智能。我确实担心其中一些措施可能比外部行为更容易被“操纵（gameable）”，但这正是那种值得与嵌入式评估员讨论的话题。

民主国家内部的步调控制将受到美国公司对威权政权（主要是中国共产党）所拥有的领先优势的限制。如果我们减速超过这个幅度，那么（不受步调控制的）与中共相关的项目将会迎头赶上，从而产生重大的国家安全风险。我同意贝森特部长（Secretary Bessent）的看法，即中国在人工智能领域的领先地位将对美国和世界构成严重危险。与中共相关的项目将承担美国公司正在小心翼翼避免的对齐风险，即使它们避开了这些风险，它们也将在军事上主导民主国家（例如通过人工智能驱动的无人机）。因此，民主国家内部步调控制的一个关键部分是，尽可能拉大民主国家对独裁国家的人工智能领先优势，从而为我们有效进行步调控制提供所需的喘息空间。

我们为捍卫这一差距可以采取的主要步骤是：

不向中国出售强大的人工智能芯片或半导体制造设备，并打击芯片走私活动以及对中国境外数据中心的远程访问。芯片将是决定中国人工智能实力的主要因素。

打击威权国家公司未经授权的蒸馏（distillation）行为。前沿模型的蒸馏允许落后公司以独立开发自己的人工智能所需成本的一小部分来缩小差距。

加强人工智能公司的安全性并防止模型权重被盗。

公司和美国政府应合作使这些步骤尽可能有效。Anthropic 一直一贯地倡导所有这些措施，因为我们一直明白这些措施对于任何步调控制都至关重要。

如果我们很好地执行这些措施，我相信它们将足以减缓中国的进展，从而在未来 3 到 5 年内显著扩大美国的领先优势——这是人工智能在关乎地缘政治最重要的窗口期。

有些人可能认为这些措施使与中国的合作变得更加困难，但我认为事实恰好相反：这些措施增强了民主国家所掌握的筹码，并使未来达成协议的可能性更大。

全球步调控制

除了在民主国家内部进行步伐协调之外，我们的目标还应该是对前沿技术在全球范围内进行步伐协调，尽管这会难得多。全球步伐协调需要与中国合作——这个拥有迄今为止最先进AI能力的独裁国家。我们在这里绝不能幼稚：地缘政治的利害关系如此之高，以至于所能取得的成果可能会受到严格的限制，尤其是在初期。如果我们基于中国也会这样做的信念而极大地限制我们的AI能力，然后中国却背信弃义，那么AI可能会强大到这种背信弃义足以导致其地缘政治主导地位。因此，任何协议要么必须具备铁一般的可核查性，要么必须受到足够的限制，以至于背信弃义不至于在军事上构成生存威胁。我怀疑不仅美国，中国也会有这些担忧和焦虑。我们在处理任何全球步伐协调的决定时，特别是在近期，都应采取能够保护美国及其盟友领先地位的方式。

可能达成的协议有几个层次，其中一些我认为是非常可行的（正如我先前所建议的)，而另一些我则非常怀疑是否可能——尽管我们应该尝试。按难度递增排序：

第1层。一项禁止某些狭隘且明显具有危险性的AI用途的协议，例如利用AI生产生物武器或允许用户这样做。生物恐怖袭击对每个人都是有害的，包括美国和美国的对手，因此这里达成协议可能是可能的。

第2层。双方达成协议，在发布模型之前，针对网络安全、生物学和对齐等领域的急性风险对其进行测试。如上所述，这可以通过一个全球标准机构来完成。我实际上认为建立这样一个机构是可行的，但赋予其实际的执行力将是一个挑战，而困难在于核实双方是否都没有未进行测试但在秘密部署中（例如用于军事应用）的秘密模型。

第3层。对递归自我改进（RSI）的速度设置某种“限速”。随着模型构建未来的模型，改进的速度可能会变得惊人地快。将速度从“极快”放慢到“仅有些快”，所付出的战略优势相对较小，同时可能大大提高安全性。这可以看作类似于SALT条约——限制导弹数量限制了毁灭的潜力，同时保留了每个国家的威慑力。我认为这样的协议将是困难的，但刚好在可能的边缘。

第4层。全面的步伐协调，甚至是“暂停”，参与国在其中同意大幅限制AI开发的整体速度。我支持提出这一设想，但我认为它实际上在近期内不太可能发生：通过逃避监控而背离这样的协议可能会从根本上改变全球力量的平衡，所以我预计这样做的动力将是巨大的，而我们在核查方面所需的信心水平将非常高。

我们能够与中国实现的任何合作，都将延长我们在民主国家内部协调前沿技术步伐的时间。我们的目标应该是更高的层次，同时将较低的层次视为更有可能和现实的。

最后，值得指出的是，即使我们无法达成正式协议，仅仅改变非正式规范也可能具有一定的价值。分享关于递归自我改进以及模型不对齐的信息，有助于说服所有人，鲁莽行事不符合他们的利益。

底线

我依然坚信AI可以极大地改善人类生活的质量。我实现这些益处的愿望并未减弱。但只有在我们以正确的方式构建技术时，这些益处才能实现，而且——只要我们充分利用赢得的时间——为了把它做好，采取不同寻常的审慎态度是值得的。进展仍将相对较快，我们可以利用这段时间来推进可解释性科学，提高前沿AI公司的运营安全性和严谨性，并构建我们对其对齐更有信心的模型。我提出的以安全步伐推进前沿的措施并非易事。但我相信，我们有责任为全人类去尝试。

脚注

在政府调解或豁免反垄断限制的情况下。