标签
一位用户报告在 NVIDIA RTX 4070 Ti 上使用 Ornith-1.5-35B-A3B MOE 模型达到了每秒 60 个令牌的速度，展示了高效的本地推理优化。
近期来自小型实验室的三元1.58位大语言模型发布展示了速度和医疗专业性，但在长期任务上表现不佳，乐观地认为未来模型能与像Qwen这样的大型架构竞争。
本文以NVIDIA的Nemotron 3 Super和Moonshot AI的Kimi K3为例，分析了LatentMoE架构如何通过压缩Expert计算维度来解决传统MoE的效率瓶颈，并指出这是下一代MoE架构的转折点。
文章讨论了Qwen3.6-35B-A3B模型在编排器下作为子智能体使用时，与单独使用相比如何表现出不同的失败模式，特别是由于其MoE架构和缺少验证层，导致错误未被检测到。