标签
一位爱好者详细记录了为期两天的调优过程：使用单张 Tesla P40 24GB（PCIe x1）运行 35B-A3B Ornith 1.5 MoE 模型，支持完整的 262k 上下文，在短提示下达到约 60 token/秒，在 100k 上下文深度下达到约 30 token/秒，同时权重量化不低于 Q4，KV 缓存量化不低于 q8。这些成果通过禁用 ECC、采用 int8 dp4a 注意力，以及对训练过的 MTP 草稿头进行检查实现。