llm-evals

Omar Santos 推荐了关于使用决策模型（如 System One 模型 Jev）进行 LLM-as-a-Judge 评测的资源，这些内容建立在 Hamel Husain 关于为评测选择和调优决策模型的博客文章之上。

作者对比了 Jev 与三种 LLM 评审（Sonnet、Haiku、Gemini Flash Lite）在智能体评测中的表现：Jev 成本低 180 倍（每 1k 条裁决 $0.07）但准确率低 2.6 个百分点（90.6% vs 93.2%），建议采用 Jev 先筛 + Sonnet 处理约 16% 不确定样本的级联方案，以 1/6 成本达到 Sonnet 级准确率。

一份用通俗语言撰写、并附有来源支撑的 LLM 评测指南：如何围绕输入、标准答案（gold answer）与评分器（grader）搭建可复现的评测闭环；为何未经校验的评判模型（judge model）是 AI 团队最常见的一种自我欺骗方式；以及如何为代码评分与模型评分（针对检索系统和智能体系统）给出带误差范围的可信数据。

EvalSeal 是一个开源工具，通过多次运行、翻转率测量和防篡改封印来增强 LLM 评估的可复现性，揭示了 LLM 评判器的不稳定性。

Dan Luu 批评了关于动态语言对 LLM 更节省 token 的说法，指出现有评估中的缺陷，并强调需要更好的基准测试方法。

smevals is an open-source framework for running evals against small and large models, with a structured vocabulary for tasks, configs, runs, and graders, plus a CLI for execution and grading.

关于使用 Pydantic AI 和 Pydantic Evals 确保 LLM 结构化输出的详细指南，涵盖结构验证、内容正确性和开放式判断。

讨论AI智能体可靠性中的一个盲点：缓存在获取时是真实的事实，但在使用时已经过时，导致一致但不正确的行为。提出将一致性（与源匹配）与时效性（源目前仍然真实）分开，并询问社区如何处理这个问题。

本文探讨了为何独立的人工智能评估初创公司很少能成功，原因包括人才流向技术栈中更有利可图的部分、客户群体狭窄，以及优化压力削弱了评估的效用。

对AI智能体时代大型Rails代码库的批评，提出转向基于技能的开发方式，使用智能体、Markdown技能和TypeScript实现确定性I/O。

Spotify Engineering讨论了将LLM评估用作A/B实验前的漏斗，提高了命中率，并在评估与实验之间建立了反馈循环。