标签
LangChain 将于 10 月 28 日举办一场线上研讨会，主题包括 LLM 作为评判者的可靠性、轨迹评分，以及如何将评估融入开发循环，以便在发布前发现回归问题。
该论文提出 MISCONCEPTDIALOGUE 框架，发现基准式精确匹配评分与人工校准的 LLM-as-judge 在相同对话上相差 39.2 个百分点，并指出 LLM 数学导师几乎不会依据所提供的诊断信息调整教学。
该论文提出 DiagSafe 诊断式评估框架，用提示级评分标准替代二元安全标签，构建了中英双语、基于 84 类安全分类体系的基准，使大语言模型评判与人工标注的一致性达到 95.34%（科恩 κ 系数为 0.864），并揭示了主流模型在中文与多轮对话场景下的独特漏洞。
我们提出 AuditKIT，一个源代码可用的评估库，将基准准确率、基于评判模型的评估、运行时性能、工具使用行为和检索质量统一到单一的结果表示中，并支持方向感知的指标契约与可扩展的后端。七个案例研究展示了答案抽取、运行时行为和指标选择如何改变大语言模型与智能体系统的评估结果。
该论文提出了一种名为"语义重构博弈"的免训练评估方法，用于更准确地评估 LLM 越狱攻击的成功率（ASR）。研究发现仅更换评判 LLM 就可导致 ASR 报告值相差高达 82 个百分点，而新方法通过将合规性判断分解为受限语义比较，显著降低了相对于人工标注的平均误差。
LangChain 分享的演讲：每个 Agent 构建者都应能回答三个问题——Agent 在哪里失败、如何可靠复现失败、以及如何让它不再失败，介绍了通过生产环境追踪、专门的评判模型、以及"世界规范"模拟环境来系统化改进 Agent 的方法。
本文表明，在候选答案中仅编辑一个冒号字符，就能显著提高决策模型评判者的错误接受率（从1%升至26%），其程度取决于结构化评判请求的呈现方式，这表明评判能力可能与依赖呈现形式的漏洞并存。
Walmart Global Tech 的研究人员探讨了在电商搜索页面中使用语言模型离线评估页面级布局决策（例如插入次级产品栈的位置）的方法。结果表明，在预测用户参与度方面，基于表示的方法持续优于直接提示模型做出判断。
本文测试了针对Agent工具调用的多层运行时安全门（确定性规则加上LLM判定器）是否会相互独立地失效。研究发现，规则+判定器两层的组合效果相当于约1.9至2.1层的安全防护，而两个LLM判定器的组合效果仅为约1.2至1.5层，原因是它们的失效存在高度相关性。
MIT 的 Neil Thompson 提出 O*NET-BENCH 审计套件，评测 33 种 LLM judge 配置，发现排序一致性虽高但接受率估计偏差极大（3.0%–97.9% vs 工人实际的 61.1%），表明仅凭排序一致性选择 judge 不足以支撑职业层面的 AI 测量。
Red Hat Developer 的一篇文章对 TypeSafe AI 的 Jev “System One” 决策模型与基于 LLM-as-a-judge 的护栏以及传统的零样本文本分类器进行了基准测试，结论是：尽管决策模型具备 schema 安全、低延迟和零样本等优势，但它们并没有明确优于这些既有的替代方案。
本文提出了 ARCagent，一种面向 ME/CFS 临床问答的自适应检索校准智能体，在该领域中诊断指南之间存在明显相互矛盾。论文贡献了一个具备冲突感知能力的检索重排序流水线以及一个 LLM-as-Judge 基准，达到了 95.3% 的准确率，优于基础大模型的表现。
@wonder正在构建一个AI智能助手，自动化膳食规划与配送，集成LangSmith进行调试和评分，使用LLM-as-judge方法。
本文系统评估了伪标签技术在适配预训练ASR模型（如Whisper和Qwen3-ASR）到嘈杂警察音频中的应用，引入了一种LLM-as-a-judge过滤方法和跨模型范式，以降低词错误率。
本文审计了生产环境Text-to-SQL流水线中LLM-as-Judge的表现，发现其与人工标注者的一致性较差，并提出使用自托管的Qwen模型和集成方法进行修复，以提高可靠性并降低成本。
本文引入两套分类体系——将检索阶段的错误分解为五个质量维度，将验证器推理错误分解为六个步骤——通过 LLM-as-Judge 自动归纳得到，用于诊断基于检索的医疗事实性评估在何处失效。针对 4 种检索方法和 6 个前沿验证器的压力测试表明，这些失效模式是 retrieve-then-verify 范式的根本性局限，而非过时系统的产物。
本文讨论了如何针对特定生产用例对LLM进行基准测试，提出了一套全面的评估流程，包括任务特定指标、质量与成本的权衡，以及失败案例分析。
CrossAudit引入了一种基于Git的协议，用于审计使用不同供应商AI代理的自主研究流程，以确保智能体科学中的监督和完整性。
本文提出了一个统一基准，用于比较基于大纲的大型语言模型长文本生成框架，独立评估大纲，发现性能随框架与粒度匹配度变化，支持将大纲与写作阶段解耦。
本文提出信息满意度作为以读者为中心的摘要评估维度，指出当前指标未能捕捉用户特定的信息需求，且与人类判断的一致性较差。