标签
Ollama 新增了对 Jev 风格决策模型（如 Nimble）的支持，全部在本地运行，可用于工单分派、模型路由和内容审核等任务，通过全新的本地 /v1/systemone API 实现。
本文提出 EDAR，一个由熵驱动的自适应路由框架，能够在推理时动态决定：是用检索增强生成（RAG）来回答查询，还是将其升级为完整的长上下文处理。在 LongBench v2 和 Infinity-Bench 上，EDAR 在仅升级 18.2% 查询的情况下，保住了纯长上下文基线 97.4% 的准确率，同时将 token 成本降低了 70.7%。
Devin 的最新更新让这款 AI 软件工程智能体的成本降低了 30% 到 70%，具体幅度取决于运行模式，实现方式是集成 SWE-2 等最新模型，并通过批处理工具调用和改进提示词缓存来优化其运行框架；同时，Devin Fusion 目前在 FrontierCode 1.1 Extended 基准测试中以每任务 0.60 美元的成本位居前列。
Replit 分享了其「free the models」harness 设计思路：核心智能体循环（而非外部路由器）会在任务推进过程中自主选择子智能体层级、投入力度与委派方式。据报道，该方法使用 GPT-6 Astra，在 DeepSWE 和 Terminal-Bench 上超越了基于路由器的基线方案与 sidekick 架构，同时以最低成本保持了质量水平。
这条推文讨论了Stripe收购OpenRouter，强调了模型路由和令牌经济在AI基础设施中的角色。
在LLM Gateway基准测试试点中，基于Jev的模型路由实现了比高级模型节省33.2%的成本，但固定中等价位的模型在任务性能相当的情况下提供了更好的价值。
Latent Space 播客节目，与 OpenRouter 联合创始人 Alex Atallah 和 AMP 的 Anjney Midha 一同探讨：Stripe 为何收购 OpenRouter，它如何成长为每天处理 10 万亿+ tokens 的中立多模型路由层，以及智能体欺诈（agentic fraud）为何可能决定这个新兴 token 经济体的安全格局。
作者建议，重度AI用户可能因未优化模型选择而导致模型资源分配低效，提出应将任务路由到能胜任且成本最低的模型，以节省开支并提高效率。
本文解释了如何将Jev AI模型集成到代理编排框架中，以实现智能模型路由、自动模式下的风险拦截和自动化评估，详情可参考LangChain视频。
AgentRouter 是一个轻量级分类器，用于在代理工作流中将步骤路由到不同的模型层级，与仅使用前沿模型相比，实现了72%的成本降低且质量退化最小。
使用更小、更便宜的LLMs可能因审查时间和错误纠正等隐藏费用而增加整个工作流的成本，这突显了进行全面成本追踪的必要性。
作者认为，Jev及其类似的分类器之所以有趣，并非因为其新颖性，而是因为它们突显了LLM常被用于简单的决策任务，建议采用更高效的架构，使用较小的模型进行路由和评估。
本文评估了小型语言模型中基于熵的置信度信号，发现 semantic entropy 提供了一种可行的方法，通过选择性地路由到更大的模型，可将准确性提高多达50个百分点。
作者对比了 TypeSafe AI 的 Jev 模型与常规 LLM 在模型路由上的表现，发现 Jev 将延迟显著降低至约1秒，而常规 LLM 需要4-14秒，这使得它对于快速决策层颇具前景。
本文介绍了TypeSafe开发的决策模型Jev，它与Hermes集成，能够为AI智能体快速且低成本地处理小规模的非推理决策，从而优化成本与性能。
Pace 详细介绍了他们改进保险文档 AI 提取代理的方法，通过优化基于历史数据的子代理委派、模型路由和上下文，从而降低成本和延迟。
CrofAI，一个声称提供便宜令牌的AI推理提供商，被揭露为OpenRouter的包装器，以高加价将请求路由到更便宜的模型，导致电汇欺诈指控和公司突然关闭
Litelm 是一个轻量级 Python 库，提供从 LiteLLM 中提取的核心 LLM 路由和消息翻译功能，旨在通过最小依赖实现简洁和高效。
作者在模型成本变动后重新审视代理管道，寻求判断哪些阶段应路由至最强模型路径的信号，以优化性能和成本。
这篇文章报道了 GitHub Copilot Day 的活动，介绍了 Hydra Fusion 智能模型路由、跨平台集成及从创意到生产的 AI 驱动开发新范式。