@petruspennanen：TensorFold 1.0.5 已发布，首次加入了 AMD 代码！它包含适用于 AMD GPU 的运行时（已在 gfx1150 / gfx1151 / gfx1201 上测试）……

X AI KOLs Timeline 工具
gpu-runtime amd inference open-source benchmark cross-platform

摘要

TensorFold 1.0.5 发布首个 AMD GPU 运行时（支持 gfx1150/gfx1151/gfx1201），在 Strix Halo 上跑 Qwen3.6-35B-A3B 解码速度比 llama.cpp 快 36-54%，预填充快 40%，目标是让单一模型跨 NVIDIA、Mac 和 AMD 运行且远快于 llama.cpp。

TensorFold 1.0.5 已发布，首次加入了 AMD 代码！ 它包含一个 AMD GPU 运行时（已在 gfx1150 / gfx1151 / gfx1201 上测试），由我们与 @BlivionIaG、jkuepker 和 @millaguie 基于 Ash 的平台并在其指导下共同构建。 此版本尚未支持在 AMD 上运行模型。后续将分阶段加入 Qwen3.8-27B，然后是 Nemotron。 刚刚在尚未发布的预览分支上测得：在一台 Strix Halo 上运行 Qwen3.6-35B-A3B，TensorFold 的解码速度为 68-78 tok/s，而 llama.cpp 在同一台机器上为 50。解码速度为 1660 对比 1200。 也就是说，解码快了 36-54%，预填充快了 40%。这才是第一个版本！ 目标是将一个模型拆分到 NVIDIA、Mac 和 AMD 上运行，速度远超 llama.cpp 引擎。
查看原文
查看缓存全文

缓存时间: 2026/10/10 18:56

TensorFold 1.0.5 发布了，首次加入 AMD 代码！

它包含一个用于 AMD GPU 的运行时（已在 gfx1150 / gfx1151 / gfx1201 上测试），由我们与 @BlivionIaG、jkuepker 和 @millaguie 在 Ash 的平台上、在其指导下共同构建。

此版本尚未包含可在 AMD 上运行的模型。接下来将先支持 Qwen3.8-27B，然后是 Nemotron。

刚刚在尚未发布的预览分支上测得：在一台 Strix Halo 上运行 Qwen3.6-35B-A3B，TensorFold 的解码速度为 68–78 tok/s，而同一台机器上的 llama.cpp 为 50。解码速度为 1660 对 1200。

因此，解码快了 36–54%，预填充快了 40%。这才是第一个版本！

目标是让一个模型拆分到 NVIDIA、Mac 和 AMD 上运行，速度远超 llama.cpp 引擎。

Ash Hart (@ashxhart)： TensorFold 1.0.5 发布了：

  • GLM-5.3-Flash 可在一台配备 256 GB 内存的 M5 Ultra 上运行
  • Nemotron 会复用你的聊天记录：对于一段包含 1.98 万个 token 的聊天，下一轮的预填充只需 0.16 秒，而非 8.1 秒
  • 已修复：macOS 27 上的 27B 模型问题，以及一个可能导致服务器崩溃的请求

我正在重新改进 Living Weights，它将会

相似文章