标签
GLM 5.2，一个开放前沿规模的 AI 模型，现已可在 Microsoft Foundry 上使用 AMD MI300X 硬件，从而实现高效的 Codex 目标执行。
这篇博客文章详细记录了作者在 AMD MI300X GPU 上运行 DeepSeek-V4-Flash 的努力，重点介绍了 FP8 方言的软件兼容性问题，并提供了该过程的工作日志。
Kog AI 在 8 块 AMD MI300X GPU 上实现了 3000 tokens/s 的推理速度，在 8 块 NVIDIA H200 上达到 2100 tokens/s，利用了 GPU 令牌生成中隐藏的效率差距。
一种针对AMD MI300X GPU上LLM解码的单内核方法，每个请求可达3300输出tokens/秒，无需推测解码或量化，利用映射到芯片拓扑结构的内存访问模式。
分享了一套开源模型堆栈在单卡 AMD MI300X 上运行的早期基准测试成绩与评估指标，表明其性能已具备与闭源方案竞争的实力。