2026年5月7日政策Anthropic研究院的重点关注领域

# Anthropic 研究院的重点关注领域 来源：https://www.anthropic.com/research/anthropic-institute-agenda 在 Anthropic 研究院（The Anthropic Institute, https://www.anthropic.com/news/the-anthropic-institute)（TAI），我们将利用作为前沿 AI 实验室所能获取的内部信息，研究 AI 对世界的影响，并与公众分享我们的发现。在此，我们将介绍驱动我们研究议程的核心问题。 我们的研究议程聚焦四个领域： - 经济扩散 - 威胁与韧性 - 野外 AI 系统 - AI 驱动的研发 在《AI 安全核心观点》(https://www.anthropic.com/news/core-views-on-ai-safety) 中，我们曾指出，有效的安全研究需要与前沿 AI 系统保持密切接触。同样的逻辑也适用于研究 AI 对安全、经济和社会的影响。 在 Anthropic，我们已经看到软件工程等职位正在发生根本性变化的早期迹象。我们观察到 Anthropic 内部的经济结构开始转变，新威胁从我们构建的系统中涌现，以及 AI 加速 AI 自身研发进程的初步迹象。为了充分实现 AI 进步的效益，我们希望尽可能多地分享这些信息。我们正在研究这些动态将如何塑造外部世界，以及公众如何帮助引导这些变化。 在 TAI，我们将从前沿实验室的视角研究 AI 的真实世界影响，然后发布这些发现，以帮助外部组织、政府和公众就 AI 发展做出更明智的决策。 我们将分享研究、数据和工具，让个人研究者和机构更容易开展这些研究问题的探索。具体而言，我们将分享： - 来自 Anthropic 经济指数 (https://www.anthropic.com/economic-index) 的更细粒度信息，以更高频率发布，涵盖我们在劳动力影响和 AI 使用方面的观察。我们将努力成为重大变化和颠覆的早期预警信号。 - 关于面对新型 AI 安全威胁时，社会最需要在哪些领域投资以增强韧性的研究。 - 关于我们在 Anthropic 的工作如何因新 AI 工具而加速的更多详细信息，以及关于 AI 系统潜在递归自我改进影响的思考。 TAI 将影响 Anthropic 的决策方向。这可能表现为公司向世界分享原本不会公开的数据（如经济指数），或以不同方式发布技术（如纳入 Project Glasswing (https://www.anthropic.com/glasswing) 等倡议的网络威胁分析）。 我们预期 Anthropic 研究院开发的工作将日益成为 Anthropic 长期利益信托 (Long-Term Benefit Trust, https://www.anthropic.com/news/the-long-term-benefit-trust)（LTBT）的重要输入。LTBT 的使命是确保 Anthropic 持续优化其行动以造福人类长远利益。我们已与 LTBT 以及 Anthropic 全体员工共同制定了这一研究议程。 这是一个动态更新的议程，而非固定不变的。我们将随着证据的积累不断微调这些问题，并预期会出现今天尚未涵盖的新问题。我们欢迎对这一议程的反馈，并将根据我们交流中学到的内容进行修订。 如果您有兴趣帮助我们解答这些问题，欢迎申请成为 Anthropic 研究员。该研究金项目为期四个月，提供资助，在 TAI 团队成员的指导下攻克一个或多个研究问题。您可以了解更多信息并申请下一期项目：https://job-boards.greenhouse.io/anthropic/jobs/5023394008。 --- ## **我们的研究议程：** *最后更新：2026年5月7日* ### 经济扩散 理解日益强大的 AI 系统的部署如何改变经济至关重要。我们还需要建立必要的经济数据和预测能力，以便选择以有益于公众的方式部署 AI。 为了回答这一研究支柱中的问题，我们将进一步开发 Anthropic 经济指数 (https://www.anthropic.com/economic-index) 中的数据。我们还将探索其他方法，以完善我们对强大 AI 如何影响社会的模型，无论是通过推动失业、前所未有的经济增长，还是其他影响。 *AI 采用与扩散* - **谁在使用 AI？** AI 开发集中在少数国家的少数公司，但部署是全球性的。什么决定了一个国家、地区或城市能否获取 AI？如果能获取，它如何从 AI 中获取经济价值？哪些政策和商业模式能实质性地改变这种平衡？免费或开源权重模型如何影响这一动态？ - **企业层面的采用：** 什么因素促使企业在层面采用 AI，后果是什么？AI 如何改变企业或团队实现最高效率的规模？AI 使用在企业间的集中程度如何？AI 采用集中度的变化如何转化为加价率和劳动份额？如果一个 3 人团队或公司现在能完成过去需要 300 人的工作，产业组织会发生什么变化？或者，如果企业能更容易地集中知识，且大规模这样做有收益，我们会看到更大、更扩张的企业，以及更强的系统性监控员工的动机吗？ - **AI 是通用技术吗？** AI 是否遵循以往"通用技术"的模式，即在高利润商业应用中采用最快，在社会回报超过私人回报的领域采用最慢？有哪些政策或决策可以改变这些动态？ *生产力与经济增长* - **生产力增长：** AI 将对经济中创新和生产率增长的速度产生什么影响？ - **收益分配：** 哪些事前或再分配机制能有效更广泛地分配 AI 开发和部署的收益？ - **市场交易成本：** AI 如何影响交换系统和市场中的交易成本？当能够获取代表您谈判的智能体时，什么情况下会提高市场效率和公平结果？什么情况下不会？ *广泛的劳动力市场影响* - **AI 与就业：** AI 将如何改变经济不同部分的就业和工作？随着 AI 自动化现有经济部门，可能出现哪些新任务和新工作？这些变化在不同地区和国家会有何差异？我们的 Anthropic 经济指数调查 (https://www.anthropic.com/research/economic-index-survey-announcement) 将提供月度信号，反映人们如何看待 AI 对其工作的影响，以及他们对未来的预期。我们还在更新经济指数 (https://www.anthropic.com/research/economic-index-survey-announcement)，以分享更高频、更细粒度的数据。 - **AI 扩散可以调节吗？** 中央银行寻求通过政策利率和前瞻性指引等"旋钮"来调节通胀。AI 公司（在行业层面，与政府合作）是否有类似的旋钮，可以按行业控制 AI 扩散的速度？转动它们是否有明确的公共利益？ *工作与职场的未来* - **从业者对工作的看法：** 经济各领域的从业者如何经历职业变化？他们对这些变化有多大影响力？"打工人"的权力能否得到保留或转化？ - **职业培养通道：** 许多职业依赖初级岗位（如律师助理、初级分析师、初级开发）作为未来高级从业者的培训。如果 AI 吸收了历史上用于建立专业知识的任务，人们如何首先成为专家？这对一个领域长期的高级判断力供给意味着什么？ - **为未来而学习：** 今天人们应该学习什么才能为未来做好准备？未来的职业是什么？AI 如何改变学习某件事和发展专业知识的含义？ - **有偿劳动的角色：** 如果 AI 大幅降低有偿劳动在人类生活中的核心地位，什么条件允许人们将时间和精力重新分配到其他意义来源，我们能从工作或可选的历史或当代群体中学到什么？社会如何驾驭这一转变？ ### 威胁与韧性 AI 系统倾向于同时推进多种能力，包括双重用途能力 (https://nvlpubs.nist.gov/nistpubs/ai/NIST.AI.800-1.ipd2.pdf)。在生物学上表现更好的 AI 系统，也会在制造生物武器上表现更好。在计算机编程上表现良好的 AI 系统，也会在入侵计算机上表现更好。如果我们能更好地理解 AI 系统加剧威胁的可能性，社会就能更容易地对这一变化的威胁格局建立韧性。 我们提出这些问题是为了帮助建立合作伙伴关系，以提升世界面对变革性 AI 时的韧性，并为可能出现的新威胁建立早期预警系统。其中许多问题将驱动我们 Frontier Red Team (https://red.anthropic.com/) 的研究议程。 *评估风险与双重用途能力：* - **双重用途技术：** 强大的 AI 本质上是双重用途的：改善健康和教育的工具同样可能用于监控和压迫。我们能否建立可观察性工具来理解这是否正在发生以及如何发生？ - **适当定价风险：** 有哪些有效的、市场驱动的方法可以提高社会对 AI 系统预期威胁的韧性？我们能否开发新的风险定价方式，或技术工具和人类组织，以在可预测威胁到来之前提高韧性（如改进的 AI 网络攻击能力）？ - **攻防平衡：** AI 能力是否会在结构和生物等领域结构性有利于攻击者？当 AI 应用于更传统的领域，如更多地融入指挥控制系统时，是否有利于攻击者？更一般地，AI 将如何改变人类冲突的性质？ *建立风险缓解措施：* - **危机情景规划：** 冷战期间，美国总统与克里姆林宫有直接热线，用于核危机事件。涉及 AI 系统的危机情景需要什么样的地缘政治基础设施？这种基础设施可能不一定是国家间的，也可能是公司间或公司间的。 - **更快的防御机制：** AI 能力可能在数月内进步。监管、保险和基础设施响应的周期则是数年。我们如何缩小这一差距？防御机制——如自动补丁、AI 威胁检测或预置响应能力——能否匹配 AI 攻击的速度和规模？还是这种不对称是结构性的？我们如何尽可能有效地部署这些防御机制？ *监控情报能力* - **AI 对监控的影响：** AI 如何改变监控的运作方式？它会使监控更便宜、更有效，还是两者兼具？ ### 野外 AI 系统 个人和组织与 AI 系统的互动将是社会变革的主要来源。理解 AI 系统可能如何改变与其互动的个人和机构，是我们 Societal Impacts (https://www.anthropic.com/research/team/societal-impacts) 团队的核心关注点。为了研究这些变化，我们正在推进现有工具并开发新工具来开展研究，范围从提升平台可观察性的软件到进行大规模定性调查的工具。 *AI 对个人和社会的影响：* - **群体认识论：** 当人口中很大一部分人咨询相同的少数模型时，我们的认识论会发生什么变化？我们能否找到方法来衡量可归因于共享 AI 使用的大规模信念、写作风格和问题解决方法的变化？ - **批判性思维：** 随着 AI 系统变得更强大、更受信任，我们如何检测并避免人类批判性思维能力因越来越服从 AI 判断而退化？ - **技术界面：** 技术的界面可以决定人们如何与之互动——电视使人成为被动观众，计算机可以使人更容易成为创造性生产者。可以构建什么样的界面，使 AI 系统能够提升和促进人的能动性？ - **管理人机系统：** 人类如何有效管理由人类和 AI 系统混合组成的团队？反之又如何——AI 系统如何管理由人类、AI 或两者组合构成的团队？ *识别 AI 的重大影响：* - **行为效应：** 正如社交媒体导致了人们的行为变化，AI 可能塑造人类行为。什么样的监测或测量可以为研究人员提供关于这一动态的信息？ - **赋能研究：** 是否存在透明制度框架和工具，能让广泛的人群（不仅是前沿 AI 公司）轻松研究真实世界的 AI 使用情况？ *理解与治理 AI 模型：* - **系统"价值观"：** AI 系统表达的"价值观"是什么，这些与其训练方式有何关联？更具体地说，我们如何衡量 AI "宪法"对模型部署后行为的影响？我们将扩展此前 (https://www.anthropic.com/research/values-wild) 关于这些问题的研究 (https://www-cdn.anthropic.com/8b8380204f74670be75e81c820ca8dda846ab289.pdf)。 - **自主智能体治理：** 现有法律、治理系统和问责机制的哪些方面可以适用于自主 AI 智能体？例如，海事法如何处理被遗弃的船舶，对于法律如何处理无需人类监督运行的智能体具有参考意义。反之，现有法律中是否已有适用于 AI 智能体且不应改变的方面？ - **智能体的可靠性：** 自主 AI 智能体的哪些方面可以调整以适应现有法律、治理系统和问责机制？例如，我们能否确保 AI 智能体具有独特身份，即使在无直接人类控制的情况下也能可靠输出？ - **AI 治理 AI：** 我们能多有效地使用 AI 来治理 AI 系统？在哪些 AI 监督领域，人类要么具有比较优势，要么在法律或规范上要求"人在回路"中？ - **智能体互动：** AI 智能体之间的互动会形成什么样的规范？不同智能体如何表达不同偏好，这些又如何影响其他智能体？ ### AI 驱动的研发 随着 AI 系统变得越强大，科学家们越来越多地使用它们来开展研究。这意味着越来越多的科学研究以自主或半自主方式进行，人类的主动监督越来越少。在 AI 研究本身，日益强大的系统可能被用于帮助开发自身的后继版本。我们有时称之为"AI 驱动的 AI 研发"。 AI 驱动的 AI 研发可能是制造更智能、更强大系统的"自然副产品"。正如编码能力的进步带来了双重用途的网络能力，科学能力的进步可能带来双重用途的生物能力，复杂技术工作的进步可能自然产生能够开发 AI 系统的 AI 系统。 AI 驱动的 AI 研发蕴含着重大危险。随着政策制定者评估