Anthropic 研究了40万次Claude Code会话:领域知识比编码技能更重要

Reddit r/ArtificialInteligence 论文

摘要

Anthropic分析了40万次Claude Code会话,发现领域专业知识比编码技能更能预测成功,专家达到28-33%的验证成功率,而新手为15%。该研究强调,理解问题比编码能力更重要。

Anthropic研究了2023年10月至2024年4月期间来自23.5万用户的约40万次Claude Code会话。主要发现:成功取决于对问题的理解程度,而非是否受过编码训练。在数据中排名前十的职业中,每个职业的成功率与软件工程师相差不超过7个百分点。真正的差距在于专业知识。在最严格的“验证成功”衡量标准下,专家的成功率达到了28-33%,而新手仅为15%。新手放弃的频率要高得多:19%的新手会话以放弃告终,而其他用户仅为5-7%。他们并没有详细说明如何分类“领域专业知识”,因此对“现在任何人都可以编码”的说法要持保留态度。来源:https://aiweekly.co/alerts/anthropic-domain-expertise-beats-coding-background
查看原文

相似文章

@phosphenq: https://x.com/phosphenq/status/2067291637949116431

X AI KOLs Timeline

Anthropic分析了40万次Claude Code会话,发现软件工程师与非工程师之间的验证成功率差距仅为5%,这表明在AI辅助开发中,领域专业知识比编程能力更重要,挑战了“学习编程”的说法。