标签
讨论 Ramp 新发布的 Glass:一个集中化的 AI 工作区,可跨团队共享上下文和可复用的 agent 技能,并结合动态路由功能,作者思考此类产品是否会成为趋势。
作者讨论了当模型能力、策略、成本和延迟冲突时,路由AI代理请求的设计方法,询问生产经验中的权衡和策略。
CRISP 引入了一种方法,通过使用结构化路由解决噪声累积问题,改进长上下文LLM推理中的稀疏预填充,在检索任务上实现了加速和性能提升。
作者讨论了AI代理之间重复交互如何将路由从基本发现转变为关系建模和信誉评分,并引发了关于代理系统中记忆衰退和偏差的问题。
FLARE++ 是一种低秩注意力架构,用输入条件动态路由取代静态学习查询,在 PDE 代理基准和 Long Range Arena 上均优于 FLARE,同时保持线性复杂度。
介绍 Coincidex,一个开源的持续学习框架,使用动态任务相似性路由来避免回放缓冲区,包含基准测试结果和识别出的失败模式。
介绍TSRouter,一种基于图的动态路由框架,能够为时间序列推理任务选择最佳模态(LLM或VLM)和模型,相较于基线实现了16%到46%的相对改进,并展示了零样本泛化能力。
本文提出一种针对动态多车辆路径规划问题的奖励密度启发式算法,在无人机任务分配和城市出租车调度场景中,其解质量与ALNS、GA、SA等元启发式算法相当,而规划时间减少两到三个数量级。
这篇论文提出Agent-as-a-Router框架,将模型路由转化为动态循环过程,根据任务类型和实时执行反馈选择最合适的LLM,以提升编码任务的性能与成本效率。
一种名为Zero-Expert Self-Distillation Adaptation (ZEDA)的新方法,允许像Qwen3和GLM这样的MoE模型在简单token上跳过一半的专家计算,而精度损失极小,通过添加输出为空的虚拟专家,实现约20%的推理加速。
HyDRA是一种面向异构LLM池的混合动态路由架构,能够预测每个查询的细粒度能力需求,并通过不足匹配选择最便宜且能力满足需求的模型,在保持质量的同时实现高达72.5%的成本节省。该架构已部署于GitHub Copilot的VS Code Chat自动模式,并将路由与模型目录解耦,模型变更时无需重新训练。
BEAM通过二值专家激活掩码实现混合专家大语言模型的动态路由,在最小化性能损失的情况下将FLOPs减少高达85%,解码速度提升2.5倍。