@__tinygrad__: 我们已凭借AMD MI350X训练Llama 8B登上MLPerf榜单。这基于我们自己的驱动、运行时、内核及训练循环…
摘要
tinygrad宣布，其凭借AMD MI350X硬件训练Llama 8B，在MLPerf基准测试榜单上占据一席之地，采用了自研驱动、运行时、内核及训练循环，并计划进一步优化时间并挑战405B模型。
查看缓存全文
缓存时间: 2026/06/16 21:41
我们正在用AMD MI350X训练Llama 8B，并登上了MLPerf榜单。这是基于我们自研的驱动、运行时、内核和训练循环。下一轮MLPerf将挑战405B模型，同时优化8B的训练时间（tinygrad目前为170分钟）。https://t.co/syPwte872y
相似文章
AMD 用户：您试过 llama.cpp 的 AMD-Ecosystem 分支吗？最高 2 倍提示处理速度
本文讨论了 llama.cpp 的一个 AMD 特定分支，该分支显著提升了 AMD 用户的提示处理速度，使用 ROCm/Hip 时，在密集模型上性能最高提升 2 倍，尽管在其他指标上有些权衡。
16块AMD MI50 32GB：GLM-5.2 Q4 在 llama.cpp RPC 上以 12.2 tok/s 运行
描述了在由16块AMD MI50 GPU组成的集群上，使用llama.cpp的RPC以4位量化运行GLM-5.2模型，达到12.2令牌每秒的速度，并在10.7k上下文中实现了连贯的长文本生成。
GLM 和我创建了一个针对 AMD GFX906（Mi50、Mi60、Radeon VII、GCN HIP）优化的 llama.cpp 分支 - 机器学习、大语言模型和 AI
已创建一个 llama.cpp 的分支，并针对 AMD GFX906 GPU 进行了优化，提升了 Mi50、Mi60、Radeon VII 和 GCN HIP 上的性能，适用于机器学习和大语言模型应用。
@jun_song: MLX 的新引擎正处于开发的最后阶段。刚刚在一台 MacBook（116GB）上运行 GLM-5.2，达到 41.8…
Jun Song 宣布 MLX 新引擎进入最终开发阶段，在 MacBook 上以 256k 上下文窗口达到 41.8 tok/s，仅有约 4% 质量损失，代表着显著的性能提升。
花了3天在搭载40GB显存笔记本+TB4外置显卡的独特组合上，对llama.cpp的各类标志参数进行基准测试。最终实现：生成速度提升70%、预填充速度提升40%、上下文容量增加6万token，并向llama项目提交了关于MTP的技术问题报告。以下是实践中的关键发现。
作者在配备RTX 4090笔记本显卡和AMD XTX 7900外置显卡的混合GPU环境中对llama.cpp运行参数进行了基准测试，实现了生成速度提升70%、预填充速度提升40%，并在多GPU配置中发现了一个与MTP相关的错误。