标签
本文介绍了归一化上下文利用（NCU）指标，用于量化RAG系统中上下文信息的增益。该指标挑战了规模定律，表明在严格的事实提取中，小语言模型由于较低的“先验主导性”可以与更大模型匹敌甚至更优，并且一个商业API在对抗性设置中经常覆盖外部证据。
本文研究了LLM解码过程中的早期令牌置信度信号是否能预测多智能体辩论系统中的推理质量，发现前几个生成令牌的置信度是基于评分标准的论文分数的最强预测因子。
本文研究了多智能体辩论系统中令牌级对数概率分布、LLM-as-judge评分标准分数和最终任务准确性之间的关系。它发现了一致的四阶段置信度轨迹以及Constructor与Auditor智能体之间的角色不对称性。