@dangerm00se: 我让 fable 做的主要事情是路由跨越本地 API 和 cerebras 的 moa 和 rlm 实验。让你的 agent 去…

X AI KOLs Following 论文
mixture-of-agents routing llm-experiments openrouter cerebras caching gpu-benchmarks

摘要

作者分享了 Hermes Mixture-of-Agents 实验中的发现，包括投票器升级、GPU 拓扑和缓存经济学，表明本地前缀缓存可以使长代理会话几乎免费，并且两个独立的 GPU 实例优于单个分区实例。

我让 fable 做的主要事情是路由跨越本地 API 和 cerebras 的 moa 和 rlm 实验。让你的 agent 总结一下，我觉得有些内容挺有趣的。https://services.turquoisebay.ai/share/moa-next-phase/index.html… @DJLougen @no_stp_on_snek @Teknium
查看原文
查看缓存全文

缓存时间: 2026/07/07 06:15

我主要让 Fable 做的是路由 moa 和 rlm 实验，横跨本地 API 和 Cerebras。让你的智能体总结一下，我觉得有些部分挺有意思的。https://services.turquoisebay.ai/share/moa-next-phase/index.html… @DJLougen @no_stp_on_snek @Teknium

Hermes MoA — 发现、结论与路线图

来源：https://services.turquoisebay.ai/share/moa-next-phase/index.html

Hermes 混合智能体（MoA）：我们测试了什么，发现了什么，何时使用

分支 feature/moa-openai-proxy (https://github.com/hughmadden/hermes-agent/tree/feature/moa-openai-proxy) 位于公共 fork github.com/hughmadden/hermes-agent (https://github.com/hughmadden/hermes-agent) · 2026-07-03 · 在 OpenRouter + Cerebras 上约 330 轮基准测试，外加本地 GPU 测量

更新日志

版本时间 (UTC)做了什么 / 本文档有哪些变化
v3507-06 ~01:45投票者升级尝试被反驳 (第43轮)：从两条路径测量了作为 RLM 投票者的 qwen3.6-27b——本地 FP8 部分完成 16/25 (64%) @384 秒中位数；OpenRouter 20/30 (67%) @382 秒——比 gemma31-RLM (82% @2.5 秒) 更慢且准确率更低。思维模型定律第三次得到确认：重度推理者与 RLM 循环的短轮次结构相冲突 (qwen27 此前 80% 的 HMMT 得分来自原生长篇幅单次推理)。gemma31-RLM 保持投票者王冠；qwen27 的本地角色 = 通用中端赛道。附带发现已记录：qwen3.6-27b OR 单次崩溃至 10% (提供商病理与缓存研究中 0% 缓存/不稳定路由特征一致)——OR 路由质量因模型而异。GPU 工作因 Hugh 会议暂停 (部分保留)；GLM-4.7-IQ3 下载继续进行，为最聪明开源模型的交接做准备。
v3407-06 ~18:302×RTX-6000-Blackwell 拓扑研究 (第42轮)——一个大卡 vs 几个小卡的问题，已测量 (无公开基准)：对于任何能放进单张 96 GB 卡的任务，两个独立实例在所有维度上占优——同时全速 (176+177 tok/s；合计 1434 tok/s @16+16) vs TP=2 的 136 tok/s 单流 (比单 GPU 慢 23% —— PCIe/无 NVLink 的代价) 且合计吞吐量减半。PCIe 上的 TP=2 纯粹是 >96 GB 权重的适配机制。上下文答案：单卡原生 262k (Qwen3-Next-80B-FP8 工具)；缓存答案：180k token 的智能体会话轮次，热启动 TTFT 0.38 秒 vs 冷启动 35.3 秒 (减少 99%)——本地前缀缓存使得长会话从第二轮开始几乎免费。永久 262k 端点现已在测试 GPU 1 上运行。内部使用统计：我们的级联起草了本节初版 (第2层，21.5 秒，$0，仅样式修改)。新增第 15 节。
v3307-06 ~13:30服务缓存经济学测量 (第41轮)——智能体会话每轮都会重新发送不断增长的前缀，因此提供商提示缓存是首要成本杠杆。OpenRouter 研究 (30k token 前缀，4 次调用会话)：deepseek-v4-pro 99.5% 缓存 / 约 40% 提示成本削减；glm-5.2 92% / 40% + 最快冷启动 (3.8 秒)；GPT-5.5 上游缓存但通过 OR 无记账节省；kimi 命中率仅 1/3 (多后端路由破坏了缓存)；qwen3.6-27b 为零。Cerebras 探测：gemma-4-31b 真实前缀缓存 (热 TTFT 降低 3 倍)；晶圆预填充如此之快 (~1.5 秒冷 @30k)，以至于投票者级会话经济学即使缓存冷也可接受。新增第 14 节；指导：将缓存关键通道固定到 deepseek/glm，易变提示字段放在最后。2×Blackwell 拓扑研究进行中 (结果见 v34)。
v3207-06 ~03:00会话感知工具轮次已上线 (第40轮) + 双重 Bug 追查。(1) cascade.tool_turns: detect (默认)：工具循环中的中间轮次保持独立行动；新用户轮次运行工具感知的投票者门控——真实答案共识将会话恢复到第 0 层级联；TOOL_TURN 投票 / 无共识 → 带工具的独立行动。实时 4 轮状态机验证通过：[email protected] → 工具调用 → [email protected] → 第 0 层 [email protected]。(2) 通过实时候选者检查发现：RLM 投票者输出 “FINAL: ANSWER: x” 导致每个混合池分裂成 2 比 2 (自 RLM 投票者上线以来悄悄地损失了第 0 层命中)——提取现在剥离堆叠前缀；修复后接着暴露了基准评分器中的相同 Bug (RLM 获胜者的文本被错误评分)——也已修复。(3) 评分器纠正后重新基准测试：结果现以运行间范围发布——级联 RLM AIME 2026 93–97%, HMMT Feb 2026 90–95% (各 3 次运行；仍在 AIME 上与 GPT-5.5 持平，在 HMMT 上每次运行均击败它)。v28.5 上的稳定服务；179 项测试。
v3107-05 ~17:30全开源梯子 (第39轮，诚实的负面结果加一条定律)：支持 RLM 的干净仲裁者已上线 (开源模型通过投票者循环解决分歧；171 项测试)，并且在 2026 年测试集上进行了两次不含任何专有 API 的梯子基准测试：晶圆第 0 层依然出色 (23/24, 13/13 @3–5 秒)，但 deepseek-v4-pro-RLM 仲裁者在代理内得分为 0/10，尽管独立运行时为 90%——硬残差预算定律：仲裁者层级只继承最难的问题，因此它需要比独立运行平均值所暗示的更多轮次/时间 (限制为 3 轮保证失败；尾部解法需要 500–900 秒通过 OpenRouter)。结论：今天的全开源交互式 = 仅晶圆共识 (AIME26 77% @ ~4 秒)；全开源仲裁是批处理层级，直到大型开源仲裁者本地部署 (96 GB 显卡论点，完整循环)。Plan-前沿级联 RLM (97/95%) 仍是生产推荐方案。
v3007-05 ~15:30生产级级联已上线 (第37轮)——三个现实世界差距已填补：(1) 流式级联——投票者进度作为推理增量，第 0 层获胜者流式输出 (已验证实时: 1.3 秒)，第 1 层在无需升级检查时实时流式传输；(2) 携带工具的请求 = 行动模型独自处理 (既便宜又优于旧的分发回退——建议上下文反而损害工具工作)；(3) 上下文单独保护 (cascade.max_context_tokens，默认 100k)——过大请求绕过约 128k 的晶圆投票者池，直接交给行动槽而不是报错 (长上下文梯子：级联 <100k → 计划-GPT-5.5 至约 400k 花费 $0 → 真正需要时使用 1M 开源通道)。由 Sonnet 构建者 + 对抗性审查构建 (合并前修复了 2 个事件循环阻塞缺陷)；170 项测试；v28.3 上的稳定服务；hermes turbo 配置文件现在在真实智能体流量上获得真正的级联经济学。
v29.107-05 ~13:30现代开源 RLM (第38轮, AIME 2026)：该循环大幅提升了每个现代开源模型——deepseek-v4-pro 53→90% (+37 pp)，glm-5.2 53→80% (+27)，minimax-m3 40→60% (+20)。先前的“思维模型无收益”定律是 gpt-oss 格式的产物——已修订：reason→python→observe 循环是开源模型在新问题上的通用质量倍增器 (OR 延迟约 80 秒中位数：质量层级，而非速度层级)。开源单次得分为 40–53% 原始——远低于声誉 (再次受污染所累)。deepseek-v4-pro-RLM = 最强的完全开源单模型结果 (90%)；已排队：全开源升级梯子 (晶圆级联 → deepseek-RLM 层级，零专有 API)。
v2907-05 ~12:00截止日期后重新验证 (AIME 2026 + HMMT Feb 2026, 因 Hugh 担心污染) —— 架构迄今最大胜利：前沿单次在新问题上的得分下降 (Fable 100→97/90%, GPT-5.5 98/95→97/85% —— 旧上限部分受污染) 而级联 RLM 保持：AIME26 97% (与两个前沿持平) 和 HMMT26 95% (击败 GPT-5.5 +10pp, Fable +5pp) 在 3.9–5.7 秒 vs 它们的 22–38 秒，前沿触及 3–20%。冠军变更：始终前沿仲裁 (rlm-conv 87/90%) 在新测试集上落后于基于分歧升级的方法——级联 RLM 是新的默认 (稳定服务 + 涡轮已切换)。此版本还包含：稳定服务上线 (固定镜像，始终重启，:8655) 作为 hermes turbo 的默认模型；通过 turbo 发现并修复了流式 bug (openai-codex 忽略 stream=True —— 适配器已上线，162 项测试)；GPQA：RLM 定律泛化到科学领域 (gemma31 +16pp)；专用展示页面及图表位于 /share/moa-cascade/ (https://services.turquoisebay.ai/share/moa-cascade/index.html)。下面添加了“新测试集”部分；每个结果表现在都将旧测试集数字标记为“疑似污染”。
v2807-05 ~08:00共识空间已闭合 (第33–34轮)：冠军跨测试集验证——级联 RLM 共识 HMMT 18/20 (90%) @5.5 秒 (干净仲裁者 7/7)。RLM 池的一致性重新测试：相同 90% 在 37 秒——并且两个残留失误都是 4 对 4 一致错误：最后的错误是系统性的模型类别错误，任何共识规则都无法过滤——只有更强的仲裁者或完全不同的模型家族才行。mc3 在所有地方都支配 mc4；最终冠军画像：97% AIME / 90% HMMT @4–6 秒纯云端，对比本地混合收敛 95%/95%。配方书更新了按测试集选择指导。
v2707-05 ~06:00第31–32轮 —— 活动记录：97% AIME，纯云端。RLM 投票者槽位已上线 (智能体：任意参考槽位上的 rlm；88 项测试)。级联 RLM (全晶圆)：92% @3.6 秒，仅使用 1.7% 前沿。然后是每个定律的组成——级联 RLM 共识 (RLM 投票者 + 干净的 $0-GPT-5.5 仲裁)：58/60 (97%) @3.9 秒中位数，第 0 层覆盖 83% 流量，精确率 98%，17% $0 前沿，零错误，零本地硬件——本质上等于前沿单次准确率 (98% @40 秒) 但延迟低 10 倍。新冠军；配方书、配置参考、家族图谱已更新。
v2607-05 ~04:00第30轮 —— 晶圆上的 RLM 智能体 (冒险赛道, 按 Hugh 要求)：在 Cerebras 模型上运行 reason→python→observe 循环 (≤12 轮，沙箱执行) vs 同模型单次推理，AIME-60。发现：gemma-4-31b RLM 49/60 (82%) vs 41/60 单次 (+14 pp) 在 2.5 秒平均——活动期间最佳小模型结果；gpt-oss-120b RLM 显示无收益 (48% vs 55%，注意到 FINAL 提取产物)。新定律：外部化推理提升没有内部推理的模型；思维模型不需要它。配方书 + 计分卡 + 统计已更新。已排队：RLM 通道作为级联投票者 (需要代理循环支持)。
v2507-05 ~02:00完整文档修订 (按 Hugh 要求)：新的执行摘要包含经过验证的配方列表；架构部分扩展以解释每个机制；部分重新编号为连贯流程；新的工具与执行统计 (第 13 节，包括诚实的“我们在用自己狗粮吗？”答案)；为级联时代重写了优缺点。第29轮已并入：级联收敛在 HMMT 上验证—— 19/20 (95%)，第 1 层干净 $0 前沿仲裁 11/11；公平 mc4 重测 (每槽 15k 投票者上限，功能已上线) 仍然退化 (87%，第 0 层从不触发)——带思维投票者的一致性被确定为不实用；mc3 收敛是两个测试集上的当前最优 (95%/95%)。OpenRouter 预算提高到 $500。
v2407-05 ~00:15前沿曲线完成 (第28轮)：多样化池上的一致性退化到前沿单次 (第 0 层从未触发——本地 32B 的思维在到达 ANSWER 行之前就用完了投票者上限；第 1 层 55/56 = GPT-5.5 级别)。曲线：93%@5% · 95%@35% (最优) · 98%@~100% 前沿。机制教训已添加到第 1d000 节。
v23.107-04 ~23:15配置参考已添加 (第 0 节, 按 Hugh 要求)：现在定义每个测试过的配置——模型、主机、量化、角色 (投票者/参考/聚合器/分类器/评判器/验证器/升级/仲裁)、共识设置、路由通道、学习循环设置。所有结果表的配置名称在此处解析。结果值没有变化。
v2307-04 ~22:30收敛 (第27轮, 第 1d000 节): 95% AIME, 通过设计打破上限— Qwen3-32B-AWQ 在本地 5090 上加入投票者池 (第 0 层 39/39 完美, 第一个零错误共识运行) + 干净的 $0 前沿仲裁 (硬尾部分 18/21)。每个测量到的定律都贡献了因果。
v2207-04 ~21:00完整循环 (第26轮)：第一个混合本地+晶圆共识池上线 (Qwen3-8B 在 5090 上与 Cerebras 模型一起投票；0 错误) — 88% AIME，因为弱投票者的异议是噪声。闭幕定律：多样性价值 = 独立性 × 能力；盒子需要 27B+ 本地投票者。批次在 26 个测量轮次后关闭。
v2107-04 ~19:30第25轮弧线闭合 (clean_arbiter 已上线并测量)：干净前沿仲裁确认了方向性锚定 (分歧子集 78%→86%)，但家族上限在七个 AIME-60 变体上平均值为 92.1% — 随机错误共识是限制项，而投票者多样性 (本地 vLLM 家族) 是已识别的下一个杠杆。第 1d00 节已更新。
v2007-04 ~18:15级联家族综合 (第 1d00 节)：六个 AIME 变体已测量 — 92±1.5% 不变；旋钮仅权衡延迟/前沿分数；一致共识跨测试集完美 (53/53)。新的最深发现：投票者上下文锚定即使前沿仲裁者 (GPT-5.5 在分歧上 7/9 vs 单次 98%) — 干净升级作为第25轮排队。
v1907-04 ~17:00n=60 时的刻度确认 — 诚实的非单调性：mc4 在 AIME 上 88% < mc3 93% (严格性将可靠的弱共识降级为较弱的第 1 层聚合器)。强大的跨测试集发现：一致第 0 层 ≈ 完美 (跨测试集 53/53)，第 2 层接近完美；第 1 层聚合器是薄弱环节 → 已排队升级。刻度指导已重写为任务相关。
v1807-04 ~16:00前沿刻度已测量 (第 1d0 节) — 严格一致性级联：HMMT 20/20 (= Fable, > GPT-5.5 单次) 使用 2 次前沿调用；刻度方向确认：共识严格性以晶圆聚合购买准确性，而非前沿花费。mc3 = 延迟默认，mc4 = 质量默认。
v1707-04 ~15:00moa:omni 组装并展示 (第 1e 节)：一个模型 ID，四个通道，10/10 混合流量提示正确路由，中位数 2.6 秒。已验证的级联 (第19轮) 诚实测量：在 AIME 上中性 (92% vs 93%) — 验证器独立性是约束条件；错误判决确实迫使了正确升级 (第 2 层 6/7)。质量/成本刻度 (升级率) 取代了免费午餐框架。审查发现的 returncode 缺陷在基准测试前已修复。
v1607-04 ~13:00评判者门控已测量 — 诚实的分裂判决：通过 300 毫秒晶圆一致性评判者将第 0 层扩展到自由格式，速度提升 2 倍 (中位数 2.6 秒 vs 5.3 秒，第 0 层在 30/30 提示上) 但丢失了盲法 Fable 评定的质量 2/2/23 vs 始终启用 MoA — 共识传递正确性，而非润色；原始投票者答案无法匹配聚合综合在主观散文上。结论：级联精确门控保持为可验证工作的默认；gate: judge 是延迟优先选项；自由格式质量通道保持完全聚合。功能 + 5 项测试已上线 (121 绿)；下一轮想法已记录：评判者选择最佳投票者变体。
v15.107-04 ~11:30k-采样共识调优：4 个投票者 (重复的晶圆槽位，3-of-4 共识，零代码更改) = 相同 93% AIME，中位数延迟 9.9→4.4 秒，第 0 层率 33%→80%，前沿分数 13%→5%。cascade-wafer4 是推荐的默认值；表行已添加。
v1507-04 ~10:30旗舰功能上线：级联模式 (第 1d 节已添加) — 带共识门控的懒惰 MoA：AIME 93% @ 9.9 秒中位数 / HMMT 90% (+15 pp 对比始终启用 MoA) 在 ≤15% 前沿分数下，第 0 层答案约 1.4 秒，在 AIME 上共识精确率 100%。采用 ultracode 风格构建：Fable 规格 + 3 个并行 Sonnet 构建者 + 2 个对抗性 Sonnet 审阅者 (合并前确认修复 3 个缺陷)；工作者 MoA 端点用于智能体卸载。同时合并：停止第 15 轮通道 1 — 计划-GPT-5.5 在 TB 样本上 8/10，花费 $0，13 分钟内完成。
v1407-04 ~08:00escalation.min_failures 已上线并在 SWE-bench 上 A/B 测试：要求 3 次失败观察后再升级，将解决率保持在 20/25 (前沿持平)，同时将前沿调用份额从 33% 降低到 18%。

相似文章

@antirez: 很酷的用例

X AI KOLs Following

有用户报告称，在 M3 Ultra 上本地运行 Hermes Agent（使用 DeepSeek V4 Flash 作为游戏主持人），其质量与在线版本几乎相同。