标签
本文提出 EDAR，一个由熵驱动的自适应路由框架，能够在推理时动态决定：是用检索增强生成（RAG）来回答查询，还是将其升级为完整的长上下文处理。在 LongBench v2 和 Infinity-Bench 上，EDAR 在仅升级 18.2% 查询的情况下，保住了纯长上下文基线 97.4% 的准确率，同时将 token 成本降低了 70.7%。
本文提出了一种混合摊销推理方法，通过结合快速初始估计和校正优化步骤，加速了层次化稀疏预测编码，比纯迭代或摊销方法更高效。
一位用户使用 Gemma 4 在 llama.cpp 中针对混合 CPU-GPU 推理进行了线程数基准测试，发现在混合核心 CPU 上使用 16 个线程而非 6 个可提升 80% 的性能，并分享了最佳命令配置。
Perplexity在2026年台北国际电脑展上发布了一款混合本地-云端推理系统，该系统能智能地在设备端模型和云端模型之间路由查询，基于其早前的Personal Computer agent构建。
一位开发者在vLLM上构建了一个路由层，将简单代理步骤路由到廉价的开源MoE模型（21B活跃参数），困难步骤路由到Opus，将400步重构的成本降至15.60美元，成功率达93.4%。