@AnthropicAI: 我们正在分享Anthropic研究所(TAI)的研究议程。TAI将重点关注四个领域:1) 经济扩散…
摘要
Anthropic宣布成立Anthropic研究所(TAI),这是一项新的研究计划,致力于从前沿实验室内部研究AI对现实世界的影响,涵盖经济扩散、安全威胁、社会中的AI系统以及AI驱动的研发。
查看缓存全文
缓存时间: 2026/05/08 11:31
我们在此分享Anthropic研究所(TAI)的研究议程。
TAI将聚焦四个领域:
- 经济扩散
- 威胁与韧性
- 现实世界中的AI系统
- AI驱动的研发
阅读完整议程:https://t.co/TvUINlE7Ae
Anthropic研究所的重点领域
来源:https://www.anthropic.com/research/anthropic-institute-agenda 在Anthropic研究所(https://www.anthropic.com/news/the-anthropic-institute)(TAI),我们将利用从前沿实验室内部获取的信息,研究AI对世界的影响,并与公众分享我们的发现。在此,我们分享推动研究议程的核心问题。
我们的议程聚焦四个研究领域:
- 经济扩散
- 威胁与韧性
- 现实世界中的AI系统
- AI驱动的研发
在《AI安全核心观点》(https://www.anthropic.com/news/core-views-on-ai-safety)中,我们提到,开展有效的安全研究需要与前沿AI系统保持密切接触。同样的逻辑也适用于研究AI对安全、经济和社会的影响。
在Anthropic,我们已经看到早期证据表明,软件工程等岗位正在发生根本性变化。我们观察到Anthropic内部经济开始转型,我们构建的系统带来新的威胁,以及AI加速自身研发的早期迹象。为了充分实现AI进步的益处,我们希望尽可能多地分享这些信息。我们正在研究这些动态如何影响外部世界,以及公众如何引导这些变化。
在TAI,我们将从前沿实验室的视角研究AI的真实世界影响,然后发布这些发现,帮助外部组织、政府和公众就AI发展做出更明智的决策。
我们将分享研究、数据和工具,使个人研究者和机构更易于开展这些研究课题。具体来说,我们将分享:
- 来自Anthropic经济指数(https://www.anthropic.com/economic-index)的更细粒度、更高频率的信息,展示我们在劳动影响和AI使用方面的观察。我们将努力成为重大变化和颠覆的早期预警信号。
- 关于社会领域在应对新型AI安全风险时最需要韧性投资的研究。
- 关于Anthropic内部工作因新AI工具而加速的详细信息,以及AI系统潜在递归自我改进的含义。
TAI将影响Anthropic的决策。这可能表现为公司原本不会与世界分享的数据(如经济指数),或以不同方式发布技术(如网络威胁分析,这些分析为Project Glasswing(https://www.anthropic.com/glasswing)等计划提供支持)。
我们预计,Anthropic研究所的工作将日益成为Anthropic长期利益信托(https://www.anthropic.com/news/the-long-term-benefit-trust)(LTBT)的重要输入。LTBT的使命是确保Anthropic不断优化其行动,以造福人类的长期利益。我们与LTBT以及Anthropic各部门员工共同制定了这一研究议程。
这是一份动态议程,而非固定不变。随着证据的积累,我们将不断优化这些问题,并预计会出现今天未涵盖的新问题。我们欢迎对这一议程的反馈,并将根据对话中学到的内容进行修订。
如果您有兴趣帮助我们回答其中一些问题,欢迎申请成为Anthropic研究员。该研究员计划是一个为期四个月的有资助机会,在TAI团队成员的指导下解决其中一个或多个问题。您可以在这里(https://job-boards.greenhouse.io/anthropic/jobs/5023394008)了解更多信息并申请下一期。
我们的研究议程:
最后更新:2026年5月7日
经济扩散
理解日益强大的AI系统的部署如何改变经济至关重要。我们还需要开发必要的经济数据和预测能力,以选择以惠及公众的方式部署AI。
为了回答这一研究支柱中的问题,我们将进一步开发Anthropic经济指数(https://www.anthropic.com/economic-index)中的数据。我们还将探索其他方法,以完善我们对强大AI可能如何影响社会的模型——无论是导致失业、前所未有的经济增长,还是其他影响。
AI的采纳与扩散
- **谁在采纳AI?**AI开发集中在少数国家的少数公司,但部署是全球性的。什么因素决定一个国家、地区或城市能否获得AI?如果能获得,它如何从AI中获取经济价值?哪些政策和商业模式能有效改变这种平衡?免费或开放权重模型如何影响这一动态?
- **企业中的采纳:**企业在什么情况下采纳AI?后果是什么?AI如何改变一个企业或团队最有效的规模?AI在不同企业中的使用集中度如何?AI采纳集中度的变化如何转化为加价和劳动份额?如果一个3人团队或公司现在可以完成以前需要300人完成的工作,产业组织会发生什么变化?或者,如果企业能更轻松地集中知识,并且大规模这样做有好处,我们是否会看到更大、更具扩张性的企业,并有更强动机系统性地监控员工?
- **AI是一种通用技术吗?**AI是否遵循以往“通用技术”的模式——在高利润商业应用中采纳最快,在社会回报超过私人回报的领域采纳最慢?是否存在可以改变这些动态的政策或决策?
生产率与经济增长
- **生产率增长:**AI将如何影响整个经济中的创新率和生产率增长?
- **分享收益:**哪些预分配或再分配机制能够有效更广泛地传播AI开发和部署的收益?
- **市场中的交易成本:**AI如何影响市场中的交换系统和交易成本?当能够代表你进行谈判的智能体出现时,何时能提高市场效率和公平结果?何时不能?
广泛的劳动力市场影响
- **AI与就业:**AI将如何改变经济不同领域的就业和工作?随着AI自动化现有经济部分,哪些新任务和新工作可能出现?这些变化在不同地区和国家的差异如何?我们的Anthropic经济指数调查(https://www.anthropic.com/research/economic-index-survey-announcement)将每月提供信号,显示人们如何看待AI影响其工作,以及他们对未来的预期。我们还在更新经济指数(https://www.anthropic.com/research/economic-index-survey-announcement),以分享更高频率、更细粒度的数据。
- **能否调节AI扩散?**中央银行通过政策利率和前瞻性指引等“旋钮”来调节通胀。是否存在类似的旋钮,可以让AI公司(在行业层面,与政府合作)转动,以按行业控制AI扩散的速度?转动它们是否会对公众带来明确的益处?
工作与工作场所的未来
- **工人对工作的看法:**经济中的工人如何体验其职业的变化?他们对这些变化有多大影响力?“工人”权力能否得以保留或转型?
- **职业管道:**许多职业依赖初级岗位(如律师助理、初级分析师、初级开发人员)作为未来资深从业者的培训途径。如果AI吸收了历史上培养专业知识的任务,人们最初如何成为专家?这对一个领域长期资深判断力的供应意味着什么?
- **为未来而学习:**今天的人们应该学习什么才能为未来做好准备?未来的职业是什么?AI如何改变学习和培养专业知识的含义?
- **有偿工作的角色:**如果AI大幅减少有偿工作在人类生活中的中心地位,什么条件能让人们将时间和精力重新分配到其他意义来源?我们可以从历史上或当代工作稀缺或可选的人群中学到什么?社会如何应对这一转型?
威胁与韧性
AI系统往往同时提升多种能力,包括双重用途能力(https://nvlpubs.nist.gov/nistpubs/ai/NIST.AI.800-1.ipd2.pdf)。一个在生物学上更优秀的AI系统也会更擅长制造生物武器。在计算机编程上表现出色的AI系统也会更擅长入侵计算机。如果我们能更好地理解AI系统可能加剧的威胁潜力,社会就能更容易地适应这一变化的威胁格局。
我们提出这些问题是为了建立合作伙伴关系,提高世界在面对变革性AI时的韧性,并开发针对可能出现的新威胁的早期预警系统。其中许多问题将推动我们的前沿红队(https://red.anthropic.com/)的研究议程。
风险评估与双重用途能力:
- **双重用途技术:**强大的AI本质上是双重用途的:改善健康和教育的同时,也能支持监控和镇压。我们能否建立可观测性工具来理解这种情况是否以及如何发生?
- **合理定价风险:**有哪些有效的、市场驱动的方法可以提高社会对AI系统预期威胁的韧性?我们能否开发新的风险定价方式,或技术工具及人类组织,以在可预测威胁(如改进的AI网络攻击能力)到来之前提高韧性?
- **攻防平衡:**AI增强的能力是否会在网络安全和生物等领域结构性有利于攻击者?当AI应用于更常规的领域,如日益整合到指挥控制系统中,是否也有利于攻击者?更一般地说,AI将如何改变人类冲突的性质?
建立风险缓解措施:
- **危机情景规划:**冷战期间,美国总统有一条直接通往克里姆林宫的热线,用于核危机。涉及AI系统的危机情景需要什么样的地缘政治基础设施?这种基础设施可能不一定是国家间,而是公司对政府或公司对公司。
- **更快的防御机制:**AI能力可能数月内提升。监管、保险和基础设施响应的时间尺度以年计。我们如何缩小这一差距?防御机制——如自动补丁、AI驱动的威胁检测或预先部署的响应能力——能否匹配AI驱动攻击的节奏和规模?还是这种不对称是结构性的?我们如何尽可能有效地部署这些防御机制?
用于监控的情报能力
- **AI对监控的影响:**AI如何改变监控的运作方式?它会降低监控成本,还是提高效率,或两者兼有?
现实世界中的AI系统
人与组织与AI系统的互动将是社会变革的主要来源。理解AI系统可能如何改变与之互动的人和机构,是我们的社会影响(https://www.anthropic.com/research/team/societal-impacts)团队的核心关注领域。为了研究这些变化,我们正在推进现有工具并构建新工具来开展研究,从用于更好平台可观测性的软件到用于进行大规模定性调查的工具。
AI对个人和社会的影响:
- **群体认识论:**当人口中的很大一部分咨询相同的少数几个模型时,我们的认识论会发生什么?我们能否找到方法衡量可归因于共享AI使用的信念、写作风格和问题解决方法的宏观变化?
- **批判性思维:**随着AI系统变得更有能力、更受信任,我们如何检测和避免因日益依赖AI判断而导致的人类批判性思维能力的退化?
- **技术界面:**技术的界面决定了人们如何与之互动——电视使人们成为被动观众,而电脑使人们更容易成为创造性生产者。可以构建什么样的界面,让AI系统改善并促进人类能动性?
- **管理人类-AI系统:**人类如何有效管理由人类和AI系统混合组成的团队?反过来,AI系统如何管理由人类、AI或两者组合构成的团队?
识别AI的重大影响:
- **行为效应:**如同社交媒体导致人类行为变化一样,AI也可能塑造人类行为。什么样的监控或测量可以让研究人员了解这种动态?
- **赋能研究:**是否存在透明度机制和工具,让更广泛的人群(不仅仅是前沿AI公司)能够轻松研究现实世界中的AI使用?
理解与治理AI模型:
- **系统“价值观”:**AI系统表达的“价值观”是什么?这些价值观如何与系统的训练方式相关?更具体地说,我们如何衡量AI“宪法”对部署后模型行为的影响?我们将扩展先前关于这些问题的研究(https://www.anthropic.com/research/values-wild)(https://www-cdn.anthropic.com/8b8380204f74670be75e81c820ca8dda846ab289.pdf)。
- **治理自主智能体:**现有法律、治理体系和问责机制中的哪些方面可以适用于自主AI智能体?例如,海事法对遗弃船只的处理方式与法律如何对待无人监督运行的智能体有关联。反之,现有法律中是否有已经适用于AI智能体但不应适用的方面?
- **智能体的可靠性:**自主AI智能体的哪些方面可以调整以适应现有法律、治理体系和问责机制?例如,我们能否确保AI智能体具有唯一且可靠输出的身份,即使在缺乏人类直接控制的情况下?
- **AI治理AI:**我们如何有效利用AI来治理AI系统?在哪些AI监督领域,人类要么具有比较优势,要么有法律或规范上“保持人在回路中”的要求?
- **智能体互动:**AI智能体之间的互动会形成什么样的规范?不同的智能体可能表达不同的偏好,这些偏好如何影响其他智能体?
AI驱动的研发
随着AI系统变得更强,科学家们正在使用它们进行更多研究。这意味着越来越多的科学研究正在自主或半自主地进行,人类主动监督越来越少。在AI研究本身,日益强大的系统可能被用来帮助开发自身的后续版本。我们有时称之为“AI驱动的AI研发”。
AI驱动的AI研发可能是制造更智能、更有能力系统的一种“自然红利”。正如编码能力的进步带来了双重用途的网络能力,科学能力的进步也带来了……
相似文章
2026年5月7日政策Anthropic研究院的重点关注领域
Anthropic概述了Anthropic研究院的研究重点领域,包括经济扩散、AI威胁和AI驱动的研发,旨在与公众和政策制定者分享关于AI现实世界影响的洞见。
@AnthropicAI:上个月,我们发布了针对 81,000 名用户“最希望 AI 带来什么”的调查结果。最新研究中,我们深入分析了这些回答中提到的经济期望与担忧。
Anthropic 从 81,000 条公众反馈中提炼出与 AI 相关的经济主题。
社会影响
本页面介绍 Anthropic 的社会影响研究团队,该团队致力于研究 AI 在现实世界中的应用、社会技术对齐以及政策相关问题。
经济研究
Anthropic 的经济研究团队发布经济指数及相关研究,以追踪全球 AI 采用情况、生产力影响和劳动力市场变化。
@AnthropicAI:我们启动 Anthropic STEM 研究员计划。AI 将加速科学与工程进步,现招募相关领域专家,与我们的研究团队并肩开展为期数月的专项项目。了解更多并申请:
我们启动 Anthropic STEM 研究员计划。AI 将加速科学与工程进步,现招募相关领域专家,与我们的研究团队并肩开展为期数月的专项项目。了解更多并申请: