ai-metrics

VoiceCodeBench 是一个用于评估自动语音识别中精确结构化令牌恢复的新基准，表明传统 WER 指标不足以满足生产语音工作流程的需求。

本文分析了不同的AI性能指标（有界 vs 无界）如何决定前沿AI能力是仍集中在富裕行为者手中，还是扩散到较小的模型，这对监管具有重要意义。

Alex Atallah 强调，每次任务的成本比每代币价格更有意义，引用 Terminal-Bench 的结果，其中 Haiku 的成本是 Opus 的10倍。

文章认为，当前对编程助手的衡量指标（如代码行数、速度）忽略了更重要的衡量标准——节省了多少人类注意力，因为持续的监督会抵消时间节省。