@rohanpaul_ai: Not Diamond 刚刚发布了他们模型路由的方法论，该方法论在降低代理成本的同时获得了 Opus 级别的高质量……

X AI KOLs Timeline 工具
model-routing ai-agents cost-optimization sequential-decision benchmarks kv-cache

摘要

Not Diamond 发布了一种模型路由的方法论，该方法论在将代理成本降低 20-80% 的同时，实现了 Opus 级别的质量，使用序列决策方法有效处理长时间运行的编码代理。

Not Diamond 刚刚发布了他们模型路由的方法论，该方法论在将代理成本降低 20-80% 的同时，获得了 Opus 级别的高质量。 模型路由对于长时间运行的编码代理来说变得更加困难。因此，Not Diamond 正在通过模拟用户轮次、变化的任务复杂性和可能导致 KV 缓存过期的响应延迟来对路由器进行基准测试。 而且比看起来更难，如果过于激进地切换模型，可能会丢弃 KV 缓存。从初始提示中选择一个模型，就假设了任务复杂性在会话的其余部分保持不变。 因此，Not Diamond 将路由视为一个序列决策问题来处理。 在每一步中，其路由器使用当前和之前的会话状态、消息和令牌计数、任务复杂性、KV 缓存状态以及中间奖励信号，来预测特定模型和推理努力的未来奖励和成本。 阅读他们的技术报告以获取更多细节。
查看原文
查看缓存全文

缓存时间: 2026/09/02 03:50

Not Diamond 近期公开了其模型路由技术的核心方法论——该技术能在保证 Opus xhigh 级别质量的同时，将智能体运行成本降低 20% 至 80%。

对于长时间运行的编码智能体而言，模型路由的决策复杂度会大幅提升。因此 Not Diamond 在评估路由器性能时，纳入了模拟用户交互轮次、任务复杂度动态变化以及可能导致 KV 缓存失效的响应延迟等变量。

更棘手的是：若模型切换过于频繁，KV 缓存可能完全失效；而如果从初始提示开始就锁定单一模型，则意味着假设整个会话期间的任务复杂度保持不变。

为此，Not Diamond 将路由问题重构为序贯决策过程。

在每个决策节点，路由器会综合当前与历史会话状态、消息与 Token 计数、任务复杂度、KV 缓存状态以及中间奖励信号，预测不同模型与推理强度带来的未来收益与成本。

更多技术细节请参阅其技术报告。

Tomas Hernando Kofman (@tomas_hk): 今天我们将发布基于交互式基准测试的模型路由评估方法论——相比静态基准测试，该方案能更真实地反映智能体成本的累积过程。

在主流基准测试中，我们的方案实现了帕累托优势：以更低 20-80% 的成本超越了 Opus xhigh 的质量水平。

相似文章

@rohanpaul_ai：在他们的官方博客上阅读更多。

X AI KOLs Following

Not Diamond 宣布推出 Not Diamond Code，这是一款面向编码代理的智能模型路由器，可根据每个步骤选择最佳模型和推理工作量，声称可节省 20% 以上的成本，并在编码基准测试中实现帕累托最优性能。