标签
AMD upstreamed optimizations to PyTorch/TorchTitan and TorchAO for FP8 training on AMD Instinct GPUs, achieving up to 13.4% throughput gains on Llama3-8B and recovering 89% of FP8 quantization overhead on DeepSeek-V3 via fused Triton kernels.
本文描述了将分布式训练运行时 PyTorch Monarch 移植到基于 ROCm 的 AMD GPU 的过程，实现了大规模单控制器容错训练，并解决了大规模 LLM 训练中的可靠性挑战。
探讨了合成数据生成、多智能体优化和强化学习，以提高语言模型为AMD GPU生成高性能HIP内核的能力，并在MI350X上展示了编译率和正确率的提升。
Zyphra发布ZAYA1-74B-Preview，一个在AMD硬件上训练的740亿参数基础模型，强调了强大的预强化学习推理能力和智能体性能信号。