标签
本文提出了一种名为 Interventional Transfer (IT) 的方法，用于评估 LLM 生成的评测 rubric 的质量，发现生成 rubric 与专家 rubric 之间存在不对称的迁移现象，对使用 LLM 生成 rubric 进行性能监控和模型优化具有重要启示。
本文复现了一种针对印地语的分布式语义抽取式摘要方法，并在标准语料库上进行评估，发现句子位置是唯一有效的特征，且当前的印地语基准测试未能激励高级内容选择。
本文探索生产环境中LLM代理的高效重复评估方法，比较自适应测试和固定子集等技术，并提供部署的实用建议。
PersonalBench 是一个新的基准，通过作者身份验证、LLM-as-judge 和文体测量学来评估 LLM 中的推理时个性化方法。研究发现，虽然这些方法能产生作者区分的输出，但它们并未缩小与人类作者之间的差距。
本文介绍了THPT-Ladder，这是一个使用越南2025凸面评分方案评估AI模型的基准测试，揭示了部分分数差距如何导致与标准准确度指标相比的不准确评估。
本文从几何角度分析了为何作为裁判的LLM彼此之间高度一致，但与人类仅弱相关，发现LLM间共识在主观评分标准上反映的是坍塌子空间，而非真正的人类对齐。基于人类数据的后验校准提高了对齐，但即使经过校准的LLM也未达到人类的可靠性。
本文认为传统基准测试既高估又低估了前沿AI能力，并提出“开放世界评估”——一种定性评估的长期、真实世界任务——作为补充方法。介绍了CRUX项目，并通过一个演示展示了AI代理在最少干预下成功将iOS应用发布到App Store。
本文提出了一种名为自监督提示优化（SPO）的框架，该框架通过输出对比来优化大语言模型的提示词，无需外部参考，显著降低了成本和数据需求。