@no_stp_on_snek: 好的，边喝咖啡边读完了，不错。有几件事与我一直遇到的吻合：多样性是独立性乘以能力…

X AI KOLs Following 论文
mixture-of-agents hermes benchmark caching local-gpu model-comparison agent-system

摘要

一份关于 Hermes Mixture-of-Agents (MoA) 研究结果的技术报告，包括基准测试结果、缓存经济学、GPU 拓扑结构研究以及未来开发路线图。

@dangerm00se @DJLougen @Teknium 好的，边喝咖啡边读完了，不错。有几件事和我一直遇到的吻合： 多样性是独立性乘以能力，而这一点人们常常忽略。一个弱投票者或同源投票者只会增加噪音。感觉像是一个集成，但你实际上是在平均垃圾数据。真正的多样性
查看原文
查看缓存全文

缓存时间: 2026/07/07 06:15

@dangerm00se @DJLougen @Teknium 好的，边喝咖啡边看完了，工作很扎实。有几处和我一直遇到的痛点吻合：多样性等于独立性乘以能力，而这正是人们经常跳过的一环。一个薄弱或同源系的投票者只会增加噪音。这感觉像是个集成系统，但你其实是在把垃圾数据也平均进去。真正的多样性——

Hermes MoA — 发现、结论与路线图

来源：https://services.turquoisebay.ai/share/moa-next-phase/index.html

Hermes 混合代理（MoA）：我们测试了什么，发现了什么，以及何时使用它

分支 feature/moa-openai-proxy (https://github.com/hughmadden/hermes-agent/tree/feature/moa-openai-proxy) 在公共分支 github.com/hughmadden/hermes-agent (https://github.com/hughmadden/hermes-agent) 上 · 2026-07-03 · 在 OpenRouter + Cerebras 上进行了约 330 次基准测试，外加本地 GPU 测量

变更日志

版本时间 (UTC)做了什么 / 本文档有何变化
v3507-06 ~01:45投票者升级尝试被驳斥（第43次迭代）：从两条路径测量了作为RLM投票者的qwen3.6-27b——本地FP8部分结果16/25（64%），中位数384秒；OpenRouter结果20/30（67%），中位数382秒——速度更慢且准确度低于gemma31-RLM（82%，2.5秒）。思考模型法则第三次被证实：重型推理器与RLM循环的短轮次结构相冲突（qwen27此前80%的HMMT成绩来自原生长格式单次传递）。gemma31-RLM保持投票者桂冠；qwen27的本地角色=通用中档通道。附带发现已记录：qwen3.6-27b OR单模型成绩暴跌至10%（提供方病理与其在缓存研究中0%缓存/不稳定路由的特征一致）—— OR路由质量因模型而异。由于Hugh的会议，迭代中途暂停了GPU工作（部分结果已保留）；GLM-4.7-IQ3下载继续进行，用于最聪明的开放模型之间的交接。
v3407-06 ~18:302×RTX-6000-Blackwell拓扑结构研究（第42次迭代）—— 一个大的 vs 几个小的问题，已完成测量（此前无公开基准）：对于任何适合一张96 GB显卡的模型，两个独立实例在所有方面都占优 —— 完全并行速度（176+177 tok/s；16+16配置下聚合吞吐量1,434 tok/s）对比TP=2的136 tok/s单流（比单GPU慢23%——PCIe/无NVLink的代价）和一半的聚合吞吐量。PCIe上的TP=2纯粹是用于适配>96 GB权重的机制。上下文答案：一张卡上原生支持262k（Qwen3-Next-80B-FP8工具）；缓存答案：一个180k令牌的代理会话轮次，预热时TTFT为0.38秒，对比冷启动时的35.3秒（减少了99%）—— 本地前缀缓存使得长时间会话在首轮之后几乎免费。永久262k端点现在在基准测试GPU 1上提供服务。内部使用记录：我们的级联系统起草了本节的第一版（第2层级，21.5秒，$0，仅样式编辑）。新章节15。
v3307-06 ~13:30服务缓存经济学已测量（第41次迭代）—— 代理会话每轮都会重新发送不断增长的前缀，因此提供商的提示缓存是首要的成本杠杆。OpenRouter研究（30k令牌前缀，4次调用会话）：deepseek-v4-pro 99.5%缓存 / 提示成本降低约40%；glm-5.2 92%缓存 / 40% + 最快的冷启动速度（3.8秒）；GPT-5.5上游缓存但通过OR无计费节省；kimi命中率1/3（多后端路由破坏了缓存）；qwen3.6-27b为零。Cerebras探测：gemma-4-31b真实前缀缓存（预热TTFT低3倍）；晶圆预填充速度极快（30k冷启动约1.5秒），因此即使缓存冷启动，投票者层级的会话经济性也良好。新章节14；指导：将缓存关键路径固定到deepseek/glm，易变提示字段放在最后。2×Blackwell拓扑结构研究正在进行中（结果见v34）。
v3207-06 ~03:00会话感知工具回合已发布（第40次迭代）+ 双重错误排查。(1) cascade.tool_turns: 检测（默认）：工具循环中期的回合保持独立行动模式；新的用户回合运行工具感知的投票者门控 —— 真实答案共识将会话重置为第0层级级联；TOOL_TURN投票 / 无共识 → 使用工具的独立行动模式。实时4轮状态机遍历已验证：user turn → tool call → user turn → tier-0 cascade。(2) 通过实时候选项检查发现：RLM投票者发出“FINAL: ANSWER: x“格式，使得每个混合池都出现2对2的平局（自RLM投票者上线以来，无声地耗费了第0层级的命中次数）—— 提取逻辑现在剥离堆叠的前缀；修复后，又在基准评分器中暴露了相同的错误（RLM获胜者的文本被错误评分）—— 也已修复。(3) 评分者纠正后的重新基准测试：结果现在按运行到运行的区间发布 —— cascade-rlm在AIME 2026上为93–97%，HMMT 2026年2月为90–95%（各3次运行；在AIME上仍与GPT-5.5持平，在每次运行的HMMT上都击败了它）。v28.5版本服务稳定；179项测试。
v3107-05 ~17:30全开放阶梯（第39次迭代，诚实的负面结果及一条定律）：具备RLM能力的干净仲裁器已上线（开放模型通过投票者循环重新解决分歧；171项测试），零专有API的阶梯在2026年数据集上进行了两次基准测试：晶圆级第0层级保持出色（23/24, 13/13 @3–5秒），但deepseek-v4-pro-RLM仲裁器在代理内结果为0/10，尽管独立使用时为90%——硬残差预算定律：仲裁器层级只继承最困难的问题，因此它需要比独立使用平均值所暗示的更多轮次/时间（限制为3轮次保证失败；长尾解需要通过OpenRouter花费500–900秒）。结论：今天的全开放交互式场景 = 仅靠晶圆共识（AIME26为77%，约4秒）；全开放仲裁是一个批处理层级，直到大型开放仲裁器可以本地托管（96 GB显卡方案，完整循环）。前沿计划 cascade-rlm（97/95%）仍然是生产推荐。
v3007-05 ~15:30生产级级联已发布（第37次迭代）—— 三个现实世界差距已弥合：(1) 流式级联 —— 投票者进度以推理增量的形式展示，第0层级获胜者被流式传输（已实时验证：1.3秒），第1层级在无需升级检查时也进行实时流式传输；(2) 携带工具的请求 = 独立行动模型独自处理（比旧的扇出回退方案更便宜且更好 —— 建议上下文会损害工具工作）；(3) 上下文独立防护（cascade.max_context_tokens，默认100k）—— 过大的请求绕过约128k的晶圆投票者池，直接进入执行槽位，而不是报错（长上下文阶梯：cascade <100k → 计划-GPT-5.5处理至约400k，花费$0 → 真正需要时使用1M的开放通道）。由Sonnet构建者构建并经过对抗性审查（合并前修复了2个事件循环阻塞缺陷）；170项测试；v28.3版本服务稳定；hermes turbo配置文件现在在实时代理流量上获得了真正的级联经济性。
v29.107-05 ~13:30现代开放模型RLM（第38次迭代，AIME 2026）：该循环极大地提升了每个现代开放模型 —— deepseek-v4-pro 53→90%（+37个百分点），glm-5.2 53→80%（+27），minimax-m3 40→60%（+20）。先前的“思考模型不受益“定律是gpt-oss格式的人为产物 —— 已修订：推理→Python→观察循环是开放模型在新问题上的通用质量倍增器（在OR延迟中位数约80秒时：这是一个质量层级，而非速度层级）。开放的独立模型得分为40–53% —— 远低于其声誉（又是数据污染问题）。deepseek-v4-pro-RLM = 最强的全开放单模型结果（90%）；已排队：全开放升级阶梯（晶圆级联 → deepseek-RLM层级，零专有API）。
v2907-05 ~12:00截止日期后的重新验证（AIME 2026 + HMMT 2026年2月，因Hugh对数据污染的担忧）—— 架构最大的胜利：前沿独立模型在新问题上的得分下降（Fable 100→97/90%，GPT-5.5 98/95 → 97/85% —— 旧的上限部分是由于数据污染），而cascade-rlm保持不变：AIME26为97%（与两个前沿模型持平），HMMT26为95%（比GPT-5.5高10个百分点，比Fable高5个百分点），延迟为3.9–5.7秒，而它们的延迟为22–38秒，前沿模型触及3–20%。冠军交换：始终前沿的仲裁（rlm-conv 87/90%）在新数据集上落后于分歧时升级的策略 —— cascade-rlm是新的默认配置（稳定服务 + turbo已切换）。此外本次发布：稳定服务上线（固定镜像，始终重启，:8655）作为hermes turbo的默认模型连接；通过turbo发现流式传输错误并修复（openai-codex忽略stream=True —— 适配器已发布，162项测试）；GPQA：RLM定律推广到科学领域（gemma31 +16个百分点）；带有图表的专用展示页面位于 /share/moa-cascade/ (https://services.turquoisebay.ai/share/moa-cascade/index.html)。下方新增了“新数据集“章节；每个结果表现在将旧数据集数字标记为数据污染可疑。
v2807-05 ~08:00共识空间已闭合（第33–34次迭代）：冠军在交叉数据集上得到验证 —— cascade-rlm-conv在HMMT上为18/20（90%），延迟5.5秒（干净仲裁器7/7）。在RLM池上的全体一致重测：相同90%，延迟37秒 —— 并且两者剩余的未命中都是4对4一致错误：最后的错误是系统性的模型类别错误，没有共识规则可以过滤—— 只有更强的仲裁器或真正不同的模型家族才能解决。mc3在所有地方都优于mc4；最终冠军画像：AIME 97% / HMMT 90%，延迟4–6秒，纯云端，对比本地混合收敛的95%/95%。配方书已更新，包含“按数据集选择“的指导。
v2707-05 ~06:00第31–32次迭代 —— 活动记录：AIME 97%，纯云端。RLM投票者槽位已上线（代理：在任何参考槽位上运行RLM；88项测试）。cascade-rlm（全晶圆）：92%，延迟3.6秒，仅使用1.7%的前沿模型。然后是每条定律的合成—— cascade-rlm-conv（RLM投票者 + 干净的0 GPT-5.5仲裁）：**58/60 (97%)，中位数延迟3.9秒，第0层级覆盖83%的流量，准确率98%，17%的0前沿模型，零错误，零本地硬件**—— 基本上是前沿独立模型的准确率（98%，延迟40秒），延迟却低了10倍。新冠军；配方书、配置参考、家族图谱已更新。
v2607-05 ~04:00第30次迭代 —— 晶圆上的RLM智能体（冒险路径，应Hugh要求）：在Cerebras模型上运行一个推理→Python→观察循环（最多12轮，沙箱执行），对比同一模型的单次传递，AIME-60。发现：gemma-4-31b RLM 49/60 (82%) 对比 41/60 独立模型 (+14个百分点)，平均延迟2.5秒—— 活动中最佳小模型结果；gpt-oss-120b RLM未见收益（48%对比55%，注意到存在FINAL提取的人工痕迹）。新定律：外部化推理提升了缺乏内部推理的模型；思考模型不需要它。配方书、记分卡、统计表已更新。已排队：RLM通道作为级联投票者（需要代理循环支持）。
v2507-05 ~02:00全文档大修（应Hugh要求）：新增包含已验证配方列表的执行摘要；架构章节扩展以解释每个机制；章节重新编号形成连贯流程；新增工具与执行统计章节（第13节，包括诚实的“我们是否在内部使用自己？“答案）；为级联时代重写了优缺点。第29次迭代已合并：级联收敛在HMMT上验证—— 19/20 (95%)，第1层级干净的0前沿仲裁 11/11；公平的mc4重新测试（每个槽位15k投票者上限，功能已发布）仍然退化（87%，第0层级从未触发）—— 使用思考型投票者的全体一致方案在实践中已无价值；mc3收敛是**两个数据集**上的现行最优解（95%/95%）。OpenRouter预算提高到500。
v2407-05 ~00:15前沿曲线完成（第28次迭代）：多样化池上的全体一致退化为了前沿独立模型（第0层级从未触发 —— 本地32B的思考在其到达ANSWER行之前就耗尽了投票者上限；第1层级55/56 = GPT-5.5级别）。曲线：93%@5% · 95%@35%（最优）· 98%@约100%前沿模型。机制教训已添加至章节1d000。
v23.107-04 ~23:15配置参考已添加（第0节，应Hugh要求）：现在定义了每个测试配置 —— 模型、主机、量化、角色（投票者/参考/聚合器/分类器/评判/验证器/升级器/），共识设置、路由通道、学习循环设置。所有结果表的配置名称在此处解析。结果值未更改。
v2307-04 ~22:30收敛（第27次迭代，章节1d000）：AIME达到95%，通过设计突破上限—— 本地5090上的Qwen3-32B-AWQ加入投票者池（第0层级完美 39/39，首次零错误共识运行）+ 干净的$0前沿仲裁（硬尾部分18/21）。每条已测量的定律都因果地贡献了此结果。
v2207-04 ~21:00完整循环（第26次迭代）：首个混合本地+晶圆共识池上线（5090上的Qwen3-8B与Cerebras模型一起投票；0错误）—— AIME 88% 因为一个薄弱投票者的异议就是噪音。闭合定律：多样性值 = 独立性 × 能力；盒子需要27B+的本地投票者。批次在26次测量迭代后关闭。
v2107-04 ~19:30循环随第25次迭代闭合（clean_arbiter已发布并测量）：干净的前沿仲裁定性地确认了锚定效应（分歧子集78%→86%），但家族上限保持在七个 AIME-60变体上的均值92.1% —— 随机错误共识是绑定项，而投票者多样性（本地vLLM家族）被确定为下一个杠杆。章节1d00已更新。
v2007-04 ~18:15级联家族综合（章节1d00）：测量了六个AIME变体 —— 在92±1.5%范围内不变；旋钮仅调节延迟/前沿模型使用比例；全体一致共识在交叉数据集上完美（53/53）。新的最深层发现：投票者上下文锚定了即使是前沿仲裁器（GPT-5.5在分歧上为7/9，对比独立模型98%）—— 干净升级作为第25次迭代排队。
v1907-04 ~17:00在n=60时的旋钮确认——诚实的非单调性：AIME上的mc4为88% < mc3为93%（严格性将可靠的弱共识降级为更弱的第1层级聚合器）。稳健的跨数据集发现：全体一致第0层级≈完美（跨数据集53/53），第2层级接近完美；第1层级聚合器是薄弱环节 → 升级已排队。旋钮指导已按任务重写。
v1807-04 ~16:00前沿旋钮已测量（章节1d0）—— 严格全体一致级联：HMMT 20/20（= Fable，> GPT-5.5独立模型），仅使用2次前沿调用；旋钮方向确认：共识严格性通过晶圆聚合购买准确性，而非前沿模型支出。mc3 = 延迟默认，mc4 = 质量默认。
v1707-04 ~15:00moa:omni组装并展示（章节1e）：一个模型ID，四条通道，10/10的混合流量提示正确路由，中位数延迟2.6秒。经过验证的级联（第19次迭代）被诚实测量：在AIME上表现中性（92%对比93%）—— 验证者独立性是约束条件；错误的裁决确实强制了正确的升级（第2层级 6/7）。质量/成本旋钮（升级率）取代了免费午餐的框架。审查发现的返回码缺陷在基准测试前已修复。
v1607-04 ~13:00评判门控已测量 —— 诚实的混合裁决：通过一个300毫秒的晶圆一致性评判器将第0层级扩展到自由形式，速度提升2倍（中位数延迟2.6秒对比5.3秒，第0层级处理30/30提示），但在盲评Fable质量上输给了始终开机的MoA（2/2/23对比始终开机的MoA）—— 共识传递正确性，而非润色；一个原始的投票者答案无法匹配聚合综合在主观散文上的表现。结论：级联精确门控仍然是可验证工作的默认选项；gate: judge是一个延迟优先选项；自由形式质量通道保持完整聚合。功能 + 5项测试已发布（121项通过）；下一个迭代思路已记录：评判器选择最佳投票者的变体。
v15.107-04 ~11:30k采样共识调优：4个投票者（复制的晶圆槽位，3/4共识，零代码更改）= 相同的AIME 93%，中位数延迟从9.9秒降至4.4秒，第0层级比率从33%升至80%，前沿模型使用比例从13%降至5%。cascade-wafer4是推荐默认值；表格行已添加。
v1507-04 ~10:30旗舰已发布：级联模式（章节1d已添加）—— 带共识门控的延迟MoA：AIME 93%，中位数延迟9.9秒 / HMMT 90%（比始终开机的MoA高+15个百分点），前沿模型使用比例≤15%，第0层级答案约1.4秒，在AIME上共识精度100%。采用ultracode风格构建：Fable规范 + 3个并行Sonnet构建者 + 2个对抗性Sonnet审查者（合并前确认修复了3个缺陷）；工作MoA端点用于代理卸载。同时已合并：停止第15次迭代通道1 —— 计划-GPT-5.5在TB样本上8/10，花费$0，用时13分钟。
v1407-04 ~08:00escalation.min_failures已发布并在SWE-bench上进行A/B测试：要求观察到3次失败后再升级，将解决率保持在20/25（与前沿模型持平），同

相似文章