predictive-entropy

本文提出 EDAR，一个由熵驱动的自适应路由框架，能够在推理时动态决定：是用检索增强生成（RAG）来回答查询，还是将其升级为完整的长上下文处理。在 LongBench v2 和 Infinity-Bench 上，EDAR 在仅升级 18.2% 查询的情况下，保住了纯长上下文基线 97.4% 的准确率，同时将 token 成本降低了 70.7%。

本文介绍了 Entropy-Valley，一种用于掩码扩散机器翻译的免训练长度选择器，它使用预测熵来提高充分性，表明长度选择比掩蔽顺序更为重要。