@AnnmariaKAntony: LLMs 擅长 CUDA,因为互联网上充满了相关内容。但一个能提供高度优化 CUDA 的模型可能仍然……
摘要
一个结合 SFT 和 GRPO RL 后训练的多智能体合成数据流水线,为 14B 开源模型在 AMD MI350X GPU 上提升了 HIP 的编译和正确性。
查看缓存全文
缓存时间: 2026/07/03 22:42
LLMs擅长CUDA,因为互联网上充满了CUDA代码。但一个能给你高度优化CUDA的模型,在编写可编译的HIP代码时可能仍然很吃力。我们构建了一个包含多智能体搜索的合成数据流水线,并对一个14B开源模型进行SFT + GRPO RL的后训练,从而在AMD MI350X GPU上显著提升了HIP的编译成功率和正确率。
相似文章
面向AMD GPU的更好HIP内核生成:合成数据、多智能体搜索与强化学习
探讨了合成数据生成、多智能体优化和强化学习,以提高语言模型为AMD GPU生成高性能HIP内核的能力,并在MI350X上展示了编译率和正确率的提升。
@TheAhmadOsman:你可以在家运行本地模型,并使用任何代理框架,如 Codex 或 Claude Code
Ahmad 构建了一个简单的工具,使 Claude Code 能与任何本地 LLM 配合使用,演示时使用了 vLLM 在 4 块 RTX 3090 上服务 GLM-4.5 Air。
@anyscalecompute: LLM 后训练是新的基线。选择错误的方法或 GPU 配置会导致浪费 36 小时的运行。推出…
Anyscale 推出了一款新的 LLM 后训练 Agent Skill,可自动选择最优的微调方法(SFT、DPO、GRPO 等)并生成可随时启动的配置,帮助避免 GPU 运行浪费。
@heygurisingh: 过去训练参数量达数十亿的LLM需要花费1000万美元以上。有人开源了一个仓库,现在可以在单张GPU上完成。
一个名为train-llm-from-scratch的开源仓库使得在单张GPU上训练十亿级参数的LLM成为可能,它提供了一个从原始文本到推理的可配置流水线,包括数据集流式加载和检查点保存,采用MIT许可证。
@_avichawla: https://x.com/_avichawla/status/2077653695123378321
本文认为,vLLM及类似的服务框架由于设计限制,在单个GPU上运行多个小型AI模型时效率低下。它介绍了SIE开源推理引擎,作为同时服务多个模型以降低成本的一种解决方案。