标签
讨论在12GB显存上运行LLM，注意到当前焦点是稠密模型，如Muse Glimmer 30B和Qwen 3.8 27B，并质疑是否需要升级到24GB显存。
作者在10万个样本上训练了一个40M参数的连接器，使DeepSeek V4 Flash获得基础的视觉能力，同时冻结语言模型和MoonViT图像编码器，展示了将纯文本MoE转变为基础VLM的低成本方法。
作者为 Mference 添加了 Maple-Preview 支持。Mference 是一款通过从磁盘流式加载 MoE 专家来在低内存设备上运行大型模型的工具，作者在 Air M4 上实现了仅用 500MB 内存达到 40 tps 的速度。
一位开发者成功在ESP32 Dev Kit V1上运行了量化至INT4的520万参数MoE LLM，仅使用81KB SRAM，通过从闪存流式加载专家，实现了约每秒5个token的速度。
Ahmad Osman 认为，像 Qwen 27B 这样的密集模型在 NVIDIA DGX Spark 等统一内存系统上表现不佳，并提出 MoE 模型更为合适；他还称，RTX PRO 6000 等独立 GPU 在智能体工作负载上能提供远为更好的性能。
Gregory Kurtzer称赞Lucas Atkins的演讲，内容涉及训练大型稀疏混合专家模型的经验教训，以及AI实验室初创公司的生活。
A developer benchmarks Qwen3.6-35B-A3B Q6 on an RTX 3090, showing that offloading eight MoE expert layers to CPU and increasing batch sizes improves prompt processing by 2.36× (564→1330 tok/s) with no decode speed regression, using evolutionary search to find the tuning config.
本文介绍了MESH，一种用于混合专家（MoE）训练的内存高效Sinkhorn优化器，它在不存储完整优化器状态的情况下恢复时间动量，相比AdamW将内存减少62.5%，同时保持有竞争力的评估损失。
Mference，一个基于 Swift + Metal 的推理引擎，现已支持 Inkling-Small 276B-A12B，在低于10GB内存下以约2.9 tok/s运行，使得大型MoE模型能够在消费级Apple硬件上运行。
jabbatheduck 发布了 REAP 专家剪枝后的 DeepSeek-V4-Flash 检查点的 GGUF 量化版本，为消费级 GPU 上的内存受限推理进行了大幅压缩，同时保留了路由器和注意力的精度。
Cursor正在开源Mixture-of-Kittens（MoK），这是一个用于NVL72s的生产级MoE训练巨型内核，它融合了通信与计算，为其Composer模型带来了1.41倍的端到端训练吞吐量提升。
DeepGrove 发布了 Maple-Preview，这是一款开源的 20B-A1B 三值权重推理大语言模型，在同类权重规模中推理能力达到最先进水平，在 Mac mini M4 上每秒可生成 200+ tokens，并与更大模型相比具有竞争力。
Maple-Preview 是一个三值 20B MoE 模型，在 iPhone 上每秒可运行 120 个 token，展现了高效的端侧推理能力。
一个 llama.cpp PR 增加了基于热力图的“热”MoE 专家 GPU 缓存，在 8GB VRAM 下对某些模型将 tok/s 提升了约 1.7-2 倍，但对其他模型结果不一。
苏剑林对K3架构进行复盘，核心为KDA + MLA + Stable LatentMoE + AttnRes的组合，讲解其设计取舍、MoE稳定性改进、为何保留MLA，以及DSV4与MLA的关系。
一个项目声称可以通过从 NVMe SSD 流式加载专家权重并使用 MXFP4 压缩，在仅有 8GB 内存的 CPU 上运行拥有 2.78T 参数的 MoE 模型 Kimi K3，以速度换取内存效率。
讨论了苹果的 AFM3 20B 模型架构，该架构使用指令跟随剪枝（Instruction-Following Pruning），每个提示仅激活约 20% 的 MLP 层，并将模型存储在闪存中，以实现高效的设备端推理。
一篇研究论文，提出了混合专家扩散语言模型的扩展定律和设计原则，并以 LLaDA MoE v2（30B-A3B）在 23.5T token 上进行训练，在多个基准测试上以更少的预训练 token 接近 Qwen3。
Frac-Connections是一种新方法，通过划分隐藏状态而非扩展它们，将Hyper-Connections扩展到分数扩展率。与残差连接相比，它在几乎不增加计算量的情况下实现了更强的下游性能，并在高达7B的MoE语言模型上得到了验证。