我构建了一个工具来评估Claude Code技能是否切实提升了输出质量，并用它测试了Caveman技能

如果你在使用Claude Code，你可能见过SKILL.md文件。这些是你可以放入项目中的小型指令文件，AI代理会将其作为系统提示加载，旨在让AI在特定任务上表现更好：编写提交信息、审查代码、编写文档，无论该技能声称能做什么。网上有数百个这样的技能文件公开。**问题在于：没人真正知道它们是否有效。你安装一个，使用一周，形成模糊的印象。这不算测量。** **我构建了SkillBenchmark来解决这个问题。** 工作原理如下：你提供一项技能和一组任务。对于每个任务，它会运行LLM N次——一次注入技能作为系统提示，一次不注入。两个输出都会被发送给一个评判LLM，该LLM会根据评分标准盲评两份输出：评判者从未见过原始任务提示，也不知道哪个输出来自哪个条件。你会得到两种条件下得分的置信区间，以及一个带有自身置信区间的差值，这样你就能判断观察到的差异是真实的还是噪音。 作为一个实际案例，我对**Caveman**进行了基准测试：这是一项流行的技能，声称能减少LLM输出令牌约65%同时保持技术准确性。我运行了3个任务×5次运行×3个评判者： |任务|使用Caveman|不使用Caveman|差值| |:-|:-|:-|:-| |编写一条提交信息|93.5 ± 1.5|89.9 ± 2.3|+3.6 ± 2.8| |解释一个Python Bug|99.5 ± 0.5|100.0 ± 0.0|−0.5 ± 0.5| |编写一条用户错误消息|89.7 ± 3.2|87.7 ± 2.5|+2.0 ± 4.0| 所有置信区间都有重叠，任何任务上都没有统计上确认的质量提升。由于注入系统提示，该技能在每次运行中还将令牌成本翻倍或翻四倍。你可以自行得出结论；关键是现在你可以实际测量，而不是猜测。 该仓库自带这个Caveman示例，因此你可以立即运行而无需编写任何代码：只需克隆、添加你的API密钥，然后运行python run.py。如果你想对自己技能进行基准测试，将SKILL.md放入skills/目录，并编写包含提示和评分标准的任务YAML文件。