mixed-hardware

标签

Cards List
#mixed-hardware

这个领域发展得很快。两张 4060 通过张量并行运行主模型权重。通过 RPC 将草稿模型卸载到 AMD Strix。额外腾出了 2–3GB 显存用于上下文,性能没有损失。

Reddit r/LocalLLaMA ↗ · 2026-10-15

作者通过修补 llama.cpp,在 2x RTX 4060 张量并行基础上把 DFlash2 草稿模型经 RPC 卸载到 AMD Strix 设备,实现混合 Nvidia+AMD 硬件下上下文从 150k 提升到 195k 且不损失性能,并附上了可复现的构建补丁与 PR 合并步骤。

0 人收藏 0 人点赞
← 返回首页

提交意见反馈