Dario：“开源意味着你能看到源代码。而在这里，我们看不到模型内部。”我那以 0.646 token/秒的速度硬挤着跑在 128GB Jetson AGX Thor 上的 MiMo-2.6-Pro：“是啊，不过嘛，那也就只是，呃，你的看法罢了，老兄。”

Reddit r/LocalLLaMA 新闻
open-weights jetson-agx-thor edge-inference mimo xai hardware-hacking

摘要

一位技术爱好者在配备 128GB 内存的 Jetson AGX Thor 上运行 MiMo-2.6-Pro（FP8，约 566GB），以每秒 0.646 个 token 的速度，戏谑地反驳了 Dario Amodei 对开放权重模型的批评——速度慢得令人痛苦，但整个过程都有完整记录，并可逐步回放。

追踪记录了我在 Jetson AGX Thor 上第一次运行 MiMo Pro 的全过程，速度高达惊人的 0.646 token/秒，……不过它从技术上讲确实加载并跑起来了，所以也算数。每一个解码器层、每一个被路由选中的专家、每一次 SSD 读取（……还有不少别的）都留下了追踪记录，可以一步一步回放。在这儿我们没法干啥来着？……这可是约 566GB 的模型（FP8），以手工挤制热狗肠那般风驰电掣的速度和架构，在推理过程中从磁盘读取，再痛苦地从 128GB 内存里硬拉出来。我觉得这挺好，不过还是决定再仔细看看，试试能不能达到工厂生产热狗肠的速度。就那种本地的小型热狗肠厂……我是说，只要 Dario 没意见就行……他染上的那场 MiMo 病说不定能一直拖到万圣节。……可怜的小家伙，早日康复啊，Dario！
查看原文

相似文章

两个约300B MoE模型，各自装进一台128 GB mini PC（AMD Strix Halo）：GLM-5.3-Flash 预填充约580 tok/s，MiMo-V2.6-Flash 解码最高44 tok/s。EXL3 权重 + 开源 ROCm 引擎

Reddit r/LocalLLaMA

Yamz Labs 发布了 Kyojin，一个基于 ExLlamaV3 构建的 AMD Strix Halo 推理引擎，使两个约300B级别的 MoE 模型（GLM-5.3-Flash 和 MiMo-V2.6-Flash）各自能装入并运行在一台128 GB mini PC 上，EXL3 量化权重预填充速度最高可达580 tok/s，投机解码可达44 tok/s。