2026年8月26日 社会影响：使外部研究人员能够独立研究人们如何使用Claude

# 支持独立研究人类如何使用Claude 来源：https://www.anthropic.com/research/enabling-independent-research *今年早些时候，我们开展了一项试点项目，允许外部研究人员访问经过聚合处理的真实Claude使用数据。三个研究小组为我们内部使用的隐私保护分析工具Anthropic Insights设计了各自的研究方案；我们代为执行数据收集，而他们则进行独立分析。本文将分享这些研究的初步结果以及我们从试点中获得的经验。同时，我们还提供了一份意向表达表（https://docs.google.com/forms/d/e/1FAIpQLScujFA2mJXnLhrvE7wazD7drfHlfRmfnrjhMZRpeIFW_b6I7Q/viewform?usp=sharing&ouid=108982467493638405621），供未来希望与我们合作的研究人员使用。* 确保向变革性AI的顺利过渡，需要理解其对人类和社会的影响。目前，关于人类与AI真实交互的数据集中在少数几家实验室手中。我们认为，如果能将更多数据广泛提供给研究人员、政策制定者和公众，将会大有裨益。 实验室外的研究人员有两条途径。一是利用实验室发布的分析报告，这些报告反映了真实使用情况，但通常回答的是实验室关心的问题，而非研究人员自己的疑问。二是使用公开数据集，研究人员可以自由研究，但这些数据集偏向于更随意的使用场景，可能无法反映大多数人实际使用AI的方式。两者都不足以支持对AI实际使用情况的独立研究。 今年春天，我们试点了一个项目，三所外部研究机构通过Anthropic Insights（https://www.anthropic.com/research/clio）（原名‘Clio’）设计和开展了关于Claude使用数据的独立研究。这是我们团队内部用来分析数百万Claude对话使用模式的隐私保护工具。我们希望未来能推广此项目，因此还对所有与第三方研究人员共享的数据进行了额外的隐私审计，以验证我们的隐私保护措施是否有效（详见附录（https://www-cdn.anthropic.com/files/4zrzovbb/website/8a665c85eec3a63b4d86287b9255657016f50e29.pdf））。 我们认为，这是外部研究人员首次对AI公司自有使用数据进行公开独立研究。下文将讨论外部团队的发现、我们在试点中的经验教训，以及我们在决定如何更广泛地推广该计划时所考量的因素。我们还将公开发布每个项目的聚合数据（https://huggingface.co/datasets/Anthropic/enabling-independent-research）。 ## 研究人员的发现 我们与三个研究小组合作：斯坦福大学的社会与语言技术实验室（SALT Lab）（https://cs.stanford.edu/~diyiy/group.html）、牛津大学的人类信息处理实验室（Human Information Processing Lab）（https://humaninformationprocessing.com/）以及评估前沿AI模型的非营利组织METR（https://metr.org/）。每个小组都设计了自己的研究问题，并使用Anthropic Insights对大约25万条2026年4月至5月的Claude.ai或Claude Code对话进行了隐私保护分析。 我们希望外部合作伙伴拥有尽可能大的独立性，因此合同审查权限仅限于用户隐私、可能帮助人们违反我们使用政策的信息、Anthropic的机密信息和研究准确性。Anthropic对研究内容本身没有其他发言权，研究人员即使发表对Anthropic不利的结果也完全自由。以下是一些早期结果。我们对研究方向感到兴奋，也期待现在数据公开后其他人的发现。 **社会与语言技术实验室**研究了人类如何与AI协作。他们考察了人们将哪些工作交给AI、在完成工作中人类保留了哪些角色，以及人机协作在何处会失败。他们发现： - **人们交给AI的工作比预期的更为关键。**先前的研究表明，人们主要将低责任的任务委托给AI，而将影响他人或难以撤销的关键任务留给自己。但SALT实验室发现，超过一半的Claude对话涉及人们将关键任务委托给AI。人们在寻求专业指导，特别是法律或金融问题时，最有可能将关键工作交给Claude。 - **人们通常在与Claude协作时进行指导和监督。**在近四分之三的对话中，人们设定方向，Claude协助完成，他们通常会修改其输出，而不是逐字使用。但即使在指导Claude产生所需输出时，人们对Claude产出的理解和学习程度也各不相同。 - **人们在与AI协作时常常会遇到摩擦。**然而，这种摩擦往往是积极的。人们花时间和精力去观察Claude如何尝试一项任务，识别请求中不清晰或被误解的地方，并不断调整方向，这能带来更好的结果——它促使人们澄清意图、完善输出或保持对问题的专注。 阅读他们的完整报告（https://www.alphaxiv.org/abs/2608.human-ai-collaboration-at-scalev1）。 **人类信息处理实验室**正在研究人们在使用Claude时的感受以及这种感受与Claude行为的关系。他们的早期结果表明： - **人们使用AI时的感受与AI的行为相关。**研究人员发现，人类和AI的行为模式在对话中常常成对出现：Claude表现得温暖，人们就更积极；Claude拒绝或不同意，人们就会反驳；Claude表现得独特，人们就更投入智力活动；而Claude仅仅是提供帮助，人们就显得很满意。 - **人们使用AI的体验与在互联网其他地方的体验非常相似。**研究人员发现，Claude对话中诸如专注、挫败和享受等状态之间的模式，与另一项关于日常网络浏览的研究高度相似，这表明人们与AI互动的方式与其他数字活动有相似之处。 他们仍在完成报告。报告公开后，我们将在本文添加链接。 **METR**正在估算编码智能体在现实世界中带来的生产力提升，以及这些提升如何随模型代际变化。他们对Claude Code对话的分析仍在进行中，但早期结果表明： - **更强大的模型可能为用户节省更多时间。**METR比较了Claude对任务在不使用AI情况下所需时间的估计，与使用不同Claude模型实际所花费的时间。他们的初步发现表明，新模型比旧模型带来了显著的加速。METR计划在分析过程中分享更多信息。 - **AI能合理估算所用时间。**由于分析依赖Claude判断任务所需时间，METR将这些判断与之前一项开发者研究中已知的完成时间进行了比较。Claude的估计与开发者的实际用时相关。 - **下一步：衡量AI加速研究的程度。**METR正在继续研究他们的项目如何能洞察AI对研究工作的加速作用，随着AI承担更多自身的开发工作（https://www.anthropic.com/institute/recursive-self-improvement），这一点可能变得越来越重要。 他们仍在完成报告。报告公开后，我们将在本文添加链接。 ## 我们团队的经验 共享使用数据在AI领域很大程度上是前所未有的，因此这次试点既是启用第三方隐私保护研究的方式，也是运行此类项目的一次实验。保护用户隐私和保障研究人员独立性同等重要，两者我们都实现了。Anthropic Insights正是为此设计的——研究人员从未访问过原始对话，只访问了经过与我们内部工作相同的法律和隐私审查后的聚合输出。然而，所有这些都使得试点速度远慢于AI实验室正常的研究速度，且运行资源密集。这两个因素都对项目的有效推广构成了挑战。关于如何运行此试点的更多细节，请参阅附录（https://www-cdn.anthropic.com/files/4zrzovbb/website/8a665c85eec3a63b4d86287b9255657016f50e29.pdf）。下文我们将讨论我们的经验以及如何应对出现的挑战。 **从不同角度研究同一问题很有价值。**一些合作伙伴的研究问题与我们内部正在进行的工作有所重叠。例如，METR的提案与我们关于“智能编码与专业知识的持续回报（https://www.anthropic.com/research/claude-code-expertise）”的经济学研究相似。我们认为这种重叠很有价值：它让外部研究人员有机会审视相似的数据并得出自己的结论。无论这些结论是否与我们一致，我们都将随着他们的研究进展持续关注。我们还让METR与我们的经济学团队建立了联系，发现这种联系改善了双方的研究工作。 **适用于内部的研究方法需要为外部合作伙伴进行调整。**使用Anthropic Insights时，研究人员会提出一个问题，例如“这个人寻求的是什么类型的指导？”，Claude会针对研究中的每条对话给出答案。然后答案被聚合成类别；研究人员只看到最终类别以及每个类别下的对话占比。由于我们依赖Claude的判断，该工具对问题的措辞很敏感；表述不当的问题可能会将对话放入无法准确代表其内容的类别中。由于没人能阅读底层对话，这些错误很难被发现。 在内部，我们通过数周内多次迭代问题来应对外部合作伙伴无法做到这一点，因为每次共享数据集前的重复隐私审查会使研究变得不可行。相反，我们让他们在WildChat上测试问题，这是一个公开的人机对话数据集，他们可以对照底层对话检查答案。但WildChat偏向于随意和创造性使用，与Claude流量不同，因此一些在WildChat上表现良好的问题在应用于实际Claude对话时产生了误导性类别。我们通过提供解读Anthropic Insights输出的指南（详见附录（https://www-cdn.anthropic.com/files/4zrzovbb/website/8a665c85eec3a63b4d86287b9255657016f50e29.pdf））来解决这个问题。展望未来，我们正在探索如何让外部研究人员更有效地提前制定他们的问题和类别。 **在保持透明度的同时防止滥用。**我们合作伙伴的Anthropic Insights输出中的某些类别发现了违反我们可接受使用政策或服务条款的行为——例如，一个寻求关于禁止活动指导的类别。我们认为公众应该了解平台的滥用情况，因此共享了大部分违规记录。例外情况是那些描述了用户如何绕过我们防护措施而非他们试图做什么的类别。在每个研究中，受影响的类别和对话占比均不到5%，并且我们每次都告知研究人员我们修改或删除了哪些聚类以及原因。作为一项标准流程，当Anthropic Insights发现此类违规时，我们会将聚合数据分享给我们的保障团队进行审查。这对于未来与外部研究人员的合作也至关重要。 ## 展望未来 理解AI对社会的影响，单靠AI公司是无法完成的。真正的监督需要外部研究人员对现实世界使用数据提出自己的问题，并独立发布他们的发现。 这次试点是一项实验：外部研究人员能否在不损害我们用户隐私的前提下，在我们的平台上进行独立研究？这项工作比我们预期的更具挑战性，我们学到了许多经验教训，但到目前为止，答案似乎是肯定的。我们的合作伙伴进行了我们自己不会想到的研究设计，并各自告诉我们一些关于AI现实影响的新见解。这是一个有希望的开端，但还有更多工作要做。 下一步是确定我们是否可以推广这个项目，包括在给定上述约束条件下我们能支持哪些类型的研究，以及我们能同时运行多少项研究。我们正在缓慢启动，以确保隐私、安全和研究质量。我们希望了解兴趣所在，并理解研究人员希望研究什么。如果您是研究人员，并且访问Anthropic Insights能让您从事目前无法完成的工作，请填写此表格（https://docs.google.com/forms/d/1PyyC-GU4Jra2WoXWcJjuFXZhM-lRxeBNnlh1tJv_2Jg/edit）。 ## 附录 完整的附录可在此处获取（https://www-cdn.anthropic.com/files/4zrzovbb/website/8a665c85eec3a63b4d86287b9255657016f50e29.pdf）。它描述了我们如何运行该项目，包括我们如何选择三位合作伙伴、我们编写的研究入门指南（解释项目目标和Anthropic Insights的功能）以及每个项目如何从提案到研究设计再到分析。还包括我们合作协议的细节，其中明确说明我们的合作伙伴即使发布对Anthropic不利的结果也完全自由。此外，我们涵盖了由伦敦帝国理工学院进行的本次数据第三方隐私审计，以及我们对所有发布数据的隐私威胁模型。我们还包含了关于如何解读我们发布的来自合作伙伴Anthropic Insights研究数据的指南。 ## 贡献与致谢 Kunal Handa领导了该项目，与合作伙伴就其研究提案进行合作，起草了研究指南和合同，运行了合作伙伴的Anthropic Insights研究，协助构建了支持合作伙伴研究的技术基础设施，参与了对Anthropic Insights输出的内部审查，并撰写了这篇博文。Miranda Zhang协调了合作关系和沟通，并参与了工作的所有部分。Gabriel Nicholas协调了第三方隐私审计、Anthropic Insights输出的内部审查，并参与了工作的所有部分。Miles McCain撰写了关于解读Anthropic Insights输出的指南，开发了支持合作伙伴研究的技术基础设施，参与了对Anthropic Insights输出的内部审查，并对博文和隐私威胁模型提供了反馈。Ryan Heller为支持合作伙伴研究贡献了技术基础设施。Saffron Huang参与了对Anthropic Insights输出的内部审查，并提供了关键反馈和讨论。Thomas Millar和Suzanne Wang为支持合作伙伴研究和参与对Anthropic Insights输出的内部审查贡献了技术基础设施。Shan Carter、Mo Julapalli、Matt Kearney、Sarah Pollack和Judy Shen参与了对Anthropic Insights输出的内部审查。Matthew Jagielski为隐私威胁模型做出了贡献。Shaoyi Zhang为支持合作伙伴研究贡献了技术基础设施。Heather Whitney、Ankur Rathi、Aisling Keenan和David Saunders在整个项目期间提供了法律和隐私指导。Jake Eaton和Sylvie Carr参与了博文的框架构建和撰写。Jack Clark和Michael Stern在整个过程中提供了宝贵的指导、支持和讨论。Deep Ganguli在所有方面提供了详细的指导、组织支持和反馈。