我们首次为外部研究人员提供了一种使用真实且保护隐私的Claude使用数据来研究AI影响的方法。迄今为止，这项工作只能在AI实验室内部进行。我们无法独自讲述全部故事，因此开放了我们的工具。

https://t.co/suLJcARAu1

支持独立研究人们如何使用Claude

来源：https://www.anthropic.com/research/enabling-independent-research 今年早些时候，我们进行了一项试点计划，让外部研究人员能够访问聚合的、真实世界的Claude使用数据。三个研究小组为我们的隐私保护分析工具Anthropic Insights设计了自己的研究；我们代表他们运行了数据收集，他们则进行了独立分析。在这篇文章中，我们分享这些研究的高层结果以及我们从这项试点中学到了什么。我们还提供了一个意向表达表格（https://docs.google.com/forms/d/e/1FAIpQLScujFA2mJXnLhrvE7wazD7drfHlfRmfnrjhMZRpeIFW_b6I7Q/viewform?usp=sharing&ouid=108982467493638405621），供未来希望与我们合作的研究人员使用。

确保向变革性AI的平稳过渡需要了解其对人和社会的影响。目前，与AI真实交互的数据集中在少数几家实验室。我们认为，如果更多数据能够广泛提供给研究人员、政策制定者和公众，那将是好事。

实验室外的研究人员有两种选择。他们可以参考实验室发布的分析，这些分析反映了真实使用情况，但通常回答的是实验室的问题，而非他们自己的问题。或者，他们可以使用公共数据集，他们可以自由研究，但这些数据偏向于更随意的使用，可能无法反映大多数人实际如何使用AI。这两种方式都不足以独立研究AI的实际使用情况。

今年春天，我们试点了一个计划，三所外部研究机构通过Anthropic Insights（https://www.anthropic.com/research/clio）（前身为“Clio”）设计并运行了关于Claude使用数据的独立研究。这是我们团队用来分析数百万次Claude对话使用模式的隐私保护工具。我们希望未来能够扩展这个计划，因此我们还对所有与第三方研究人员共享的数据进行了额外的隐私审计，以验证我们的隐私保护措施是否有效（参见附录（https://www-cdn.anthropic.com/files/4zrzovbb/website/8a665c85eec3a63b4d86287b9255657016f50e29.pdf））。

我们相信这是外部研究人员首次针对一家AI公司自身的使用数据进行公开独立研究。下文，我们将讨论外部团队发现了什么，我们在运行试点中学到了什么，以及我们在决定如何更广泛地扩展该计划时正在权衡什么。我们还公开发布了每个项目的聚合数据（https://huggingface.co/datasets/Anthropic/enabling-independent-research）。

研究人员的发现

我们与三个研究小组合作：斯坦福大学的社会与语言技术实验室（SALT Lab，https://cs.stanford.edu/~diyiy/group.html）、牛津大学的人类信息处理实验室（Human Information Processing Lab，https://humaninformationprocessing.com/），以及评估前沿AI模型的非营利组织METR（https://metr.org/）。每个小组都开发了自己的研究问题，并使用Anthropic Insights对大约25万次Claude.ai或Claude Code对话（2026年4-5月）进行了隐私保护分析。

我们希望我们的外部合作伙伴拥有尽可能大的独立性，因此我们的合同审查权仅限于用户隐私、可能帮助人们违反我们使用政策的信息、Anthropic的机密信息以及研究准确性。Anthropic除此之外对研究结果的内容没有发言权，即使研究结果对Anthropic不利，研究人员也可以自由发布他们的结果。以下是一些早期结果。我们对这些方向感到兴奋，也期待现在数据公开后其他人会有什么发现。

社会与语言技术实验室研究了人类如何与AI协作。他们考察了人们将哪些类型的工作交给AI，人类在完成工作中保留了哪些角色，以及人机协作在何处出现故障。他们发现：

• **人们将高风险工作的委托程度超出预期。**先前的研究表明，人们大多将低问责性的任务委托给AI，而将重要的工作（即影响他人或难以逆转的工作）留给自己。但SALT实验室发现，超过一半的Claude对话涉及人们将重要的任务委托给AI。人们在寻求专业指导时，特别是在法律或金融问题上，最有可能将重要的工作交给Claude。
• **人们通常在与Claude协作时指导和监督工作。**在近四分之三的对话中，人们设定方向而Claude提供协助，并且他们通常会调整其输出，而不是逐字使用。但即使在指导Claude他们想要的输出时，人们理解和从中学习的程度也各不相同。
• **人们在与AI协作时遇到摩擦很常见。**然而，这种摩擦往往是有成效的。人们投入的时间和精力，去观察Claude如何尝试一项任务、识别请求中哪里不清楚或被误解、并迭代他们的方向，从而带来更好的结果——这促使人们澄清他们的意图、完善输出，或保持对问题的参与度。

在此阅读他们的完整报告（https://www.alphaxiv.org/abs/2608.human-ai-collaboration-at-scalev1）。

人类信息处理实验室正在研究人们使用Claude时的感受，以及这与Claude的行为如何关联。他们的早期结果表明：

• **人们使用AI时的感受与AI的行为相关联。**研究人员发现，对话中人类和AI行为的模式同时出现：Claude的温暖与人们更积极的态度同时出现；Claude的拒绝或不同意与人们的反驳同时出现；Claude的古怪与人们智力投入更深同时出现；而Claude的单纯帮助则与人们显得满意同时出现。
• **人们使用AI的体验与在互联网其他地方的体验非常相似。**研究人员发现，Claude对话中诸如沉浸、挫败感和享受等状态之间的模式，与另一项关于日常互联网浏览的研究中的模式非常相似，这表明人们与AI互动的方式与与其他数字活动互动的方式存在相似之处。

他们仍在完成报告。公开后，我们将在此添加链接。

METR正在估算编码代理在现实世界中的生产力提升，以及这些生产力增长如何随着模型代际而变化。他们对Claude Code对话的分析仍在进行中，但早期结果表明：

• **更强大的模型可能会为用户节省更多时间。**METR比较了Claude对没有AI情况下任务所需时间的估算，以及使用不同Claude模型实际所花的时间。他们的初步发现表明，新模型比旧模型带来显著的速度提升。METR计划随着分析进展分享更多信息。
• **AI可以合理地估算所花费的时间。**由于分析依赖于Claude判断一项任务需要多长时间，METR将这些判断与先前开发者研究中已知的完成时间进行了比较。Claude的估算与开发者的实际耗时相关。
• **下一步：衡量AI加速研究的程度。**METR正在继续研究他们的研究如何提供见解，了解AI在多大程度上加速了研究工作，这可能变得越来越重要，因为AI承担了更多自身的开发工作（https://www.anthropic.com/institute/recursive-self-improvement）。

他们仍在完成报告。公开后，我们将在此添加链接。

我们团队的收获

共享使用数据在AI领域基本上是前所未有的，因此这次试点既是一次运行此类项目的实验，也是一种以隐私保护方式支持第三方研究的方式。保护我们的用户隐私和研究人员的独立性都至关重要，而我们都做到了。Anthropic Insights就是为此设计的——研究人员从未访问过原始对话，只看到了经过与内部工作相同的法律和隐私审查后的聚合输出。然而，所有这些使得试点对于AI实验室正常的研究速度来说很慢，且运行起来资源密集。这两个因素都对有效扩展构成了挑战。有关我们如何运行此次试点的更多细节，请参见附录（https://www-cdn.anthropic.com/files/4zrzovbb/website/8a665c85eec3a63b4d86287b9255657016f50e29.pdf）。下面我们讨论我们的收获以及如何应对出现的挑战。

**从不同角度研究同一问题是有价值的。**一些合作伙伴的研究问题与内部正在进行的工作有重叠。例如，METR的提案与我们关于“智能编码与专业知识的持续回报（https://www.anthropic.com/research/claude-code-expertise）”的经济学研究相似。我们发现这种重叠很有价值：它让外部研究人员有机会研究类似的数据并得出自己的结论。这些结论是否与我们的一致，我们将随着他们研究的进展继续关注。我们还将METR与我们的经济团队联系起来，发现这种联系改善了两个研究团队的工作。

**内部有效的工作方法需要为外部合作伙伴进行调整。**当使用Anthropic Insights时，研究人员会提出诸如“这个人寻求的是什么类型的指导？”之类的问题，然后Claude为研究中的每一次对话提供答案。答案随后被聚合成类别；研究人员只看到最终类别以及属于每个类别的对话百分比。因为我们依赖于Claude的判断，该工具对问题的措辞很敏感；一个措辞不当的问题可能会将对话归入错误的类别。由于没有人可以阅读底层对话，这些错误很难被发现。

在内部，我们通过数周内多次迭代问题来管理这个问题。外部合作伙伴无法做到这一点，因为每次共享数据集之前都需要重复的隐私审查，这将使研究不可行。相反，我们让他们在WildChat上测试他们的问题。WildChat是一个公共的人机对话数据集，他们可以自己检查答案与底层对话是否匹配。但WildChat偏向于休闲和创意性使用，与Claude的流量不同，因此一些在WildChat上表现良好的问题在应用于实际Claude对话时产生了误导性类别。我们通过提供如何解释Anthropic Insights输出的指导来解决这个问题（参见附录（https://www-cdn.anthropic.com/files/4zrzovbb/website/8a665c85eec3a63b4d86287b9255657016f50e29.pdf））。展望未来，我们正在探索外部研究人员如何能更有效地提前开发他们的问题和类别。

**在保持滥用透明度的同时不助长滥用。**合作伙伴的Anthropic Insights输出中的一些类别暴露了违反我们可接受使用政策或服务条款的行为——例如一个人们寻求关于禁止活动指导的类别。我们认为公众应该了解对我们平台的滥用情况，因此我们分享了其中大部分违规情况。例外情况是那些描述用户如何绕过我们的安全措施，而不是试图做什么的类别。在每个研究中，受影响的类别和对话不到5%，在每种情况下，我们都告诉研究人员我们修改或移除了哪些集群以及原因。作为一项标准做法，当Anthropic Insights出现此类违规行为时，我们会将聚合数据共享给我们的安全团队进行审查。这对于我们未来与外部研究人员合作也是一个重要的流程。

展望未来

理解AI对社会的影响是一项太庞大的工作，仅靠AI公司无法完成。真正的监督需要外部研究人员对真实世界使用数据提出自己的问题，并独立发布他们的发现。

这次试点是一个实验：外部研究人员能否在不损害我们用户隐私的情况下对我们平台进行独立研究？这项工作比我们预期的更具挑战性，我们学到了很多教训，但到目前为止，答案似乎是肯定的。我们的合作伙伴进行了我们自己不会想到的研究设计，每个人都告诉我们关于AI现实世界影响的新信息。这是一个有希望的第一步，但还有更多工作要做。

下一步是确定我们能否扩展这个计划，既包括在上述约束下我们能支持什么样的研究，也包括我们一次能运行多少个。我们正在缓慢启动，以确保隐私、安全和研究质量。我们希望衡量兴趣并了解研究人员想要研究什么。如果你是一名研究人员，并且访问Anthropic Insights能让你进行目前无法开展的工作，请填写此表格（https://docs.google.com/forms/d/1PyyC-GU4Jra2WoXWcJjuFXZhM-lRxeBNnlh1tJv_2Jg/edit）。

附录

完整的附录可在此处获取（https://www-cdn.anthropic.com/files/4zrzovbb/website/8a665c85eec3a63b4d86287b9255657016f50e29.pdf）。它描述了我们如何运行该计划，包括我们如何选择三个合作伙伴、我们为解释计划目标和Anthropic Insights功能而编写的《研究入门指南》，以及每个项目如何从提案到研究设计再到分析。它还包括我们合作协议的细节，协议明确表示我们的合作伙伴可以自由发布即使对Anthropic不利的发现。此外，我们涵盖了由伦敦帝国理工学院进行的第三方隐私审计，以及我们对所有发布数据持有的隐私威胁模型。我们还包含了关于如何解释我们发布的合作伙伴Anthropic Insights研究数据的指导。

贡献与致谢

Kunal Handa领导了该项目，与合作伙伴在研究提案上进行了合作，起草了研究指导和合同，运行了合作伙伴的Anthropic Insights研究，帮助构建了支持合作伙伴研究的技术基础设施，参与了Anthropic Insights输出的内部审查，并撰写了这篇博文。Miranda Zhang协调了合作伙伴关系和沟通，并参与了工作的所有部分。Gabriel Nicholas协调了第三方隐私审计、Anthropic Insights输出的内部审查，并参与了工作的所有部分。Miles McCain撰写了关于解释Anthropic Insights输出的指导，开发了支持合作伙伴研究的技术基础设施，参与了Anthropic Insights输出的内部审查，并对博文和隐私威胁模型提供了反馈。Ryan Heller贡献了支持合作伙伴研究的技术基础设施。Saffron Huang参与了Anthropic Insights输出的内部审查并提供了关键反馈和讨论。Thomas Millar和Suzanne Wang贡献了支持合作伙伴研究和Anthropic Insights输出内部审查的技术基础设施。Shan Carter、Mo Julapalli、Matt Kearney、Sarah Pollack和Judy Shen参与了Anthropic Insights输出的内部审查。Matthew Jagielski参与了隐私威胁模型。Shaoyi Zhang贡献了支持合作伙伴研究的技术基础设施。Heather Whitney、Ankur Rathi、Aisling Keenan和David Saunders在整个项目中提供了法律和隐私指导。