在Strix Halo上运行的Qwen3.8-27B Q8_0令人印象深刻
摘要
作者在配备Ryzen AI Max+ 395的ROG Flow Z13上测试了Qwen3.8-27B Q8_0 AI模型，使用Lemonade Server和llama.cpp进行推测解码，实现了令人印象深刻的本地推理性能，生成了一个飞行模拟器。
抱歉内容有些粗糙，但我对这个模型印象深刻，因为我在我的ROG Flow Z13（Ryzen AI Max+ 395，128 GB统一内存）上本地测试了Qwen3.8-27B Q8_0，而这个模型是唯一一个能生成这个简短模拟器的（我已经测试了很多模型）。提示："在单个HTML页面中创建一个美丽、令人放松的飞行模拟器。"它通过一个使用文件/bash工具的代理生成了整个东西。设置：Lemonade Server + llama.cpp ROCm Q8_0权重 + Q8 KV缓存 原生MTP推测解码 64 GB VRAM / 64 GB RAM分配 ~142k上下文。我观察到大约9-19 tok/s，取决于代理步骤，有些生成能维持16-19 tok/s，MTP接受率达到97-99%，生成这个模拟器大约需要20分钟。
相似文章
@DavidFSWD: 本周本地AI最惊人的事是这个优化过的Qwen 3.8模型：ukisai/Swift-1.5-Qwen3.8-27B-GSQ-RCO-GGUF…
这条推文强调了一个优化版本的Qwen 3.8模型，该模型可以在显存低于16GB的本地硬件上高效运行，在较旧的GPU配置上达到30-80个令牌每秒的速度。
在单卡5090上本地运行Qwen 3.8 27B的测试
本文展示了在单卡5090 GPU上本地运行Qwen 3.8 27B AI模型的能力，使用Row-Bot生成丰富的动画，展示从语言合成到物理模拟的任务。
Qwen 3.8 27b 发布：本地AI的重大新闻
Qwen 3.8 27b，一个参数小于300亿的AI模型，已经发布，适合在消费级硬件如RTX 3090或M4 Pro上进行本地推理，有可能取代基于云的AI订阅，并将工作流程转移到本地。
在 8GB 显存和 32GB 内存上运行 Qwen3.6 35b a3b，~190k 上下文
作者分享了一种高性能的本地推理配置，使用支持 TurboQuant 的修改版 llama.cpp，在硬件受限（8GB 显存、32GB 内存）的情况下运行 Qwen3.6 35B A3B，实现了 ~37-51 tok/sec 的生成速度，并支持 ~190k 上下文。
gufo-Qwen3.6-35B-A3B-Q6dense - 在 Strix Halo 上实现 3095 tok/s 预填充；190 tok/s 解码
Gufo 是一款针对 AMD Strix Halo（Ryzen AI MAX+ 395，128 GiB 统一内存）优化的开源本地推理引擎，在采用 Q6dense 量化的 Qwen3.6-35B-A3B 模型上实现了 3095 tok/s 的预填充速度和最高 190 tok/s 的解码速度，并提供了 Qwen3.8 和 DeepSeek V4 Flash 的基准测试数据。