标签
本文介绍MusCoRe，一种颜色频率压缩协议，可将AI代理对话的令牌使用量减少71.9%，实现在无GPU依赖的低资源设备上进行潜在本地推理。
Minimax-M3 被演示在 4 块 RTX Pro 6000 GPU 上运行，具备 800k 上下文，在 4 路并发下达到 70-120 tok/s 推理速度和 2000 tok/s 预填充速度，使用 376GB VRAM 和 mxfp4 格式。
本文研究了物理AI系统中批量1的LLM解码的性能差距，发现更快的内存带宽并没有按比例减少延迟，因为启动开销的存在，并且量化效率在不同硬件间差异显著。