你认为5t/s对于本地模型来说是可用的吗？

Reddit r/LocalLLaMA 新闻
local-model inference-speed qwen-model hardware-comparison usability ai-inference

摘要

用户探讨了以5t/s速度本地运行Qwen3.8 27b模型的实用性，对比了不同硬件配置的性能，并说明在系统资源管理合理的情况下，较低速度仍可接受。

我的系统可以两种方式运行qwen3.8 27b：一种是分配到3060 12gb和9070xt上，速度达到20t/s；另一种是仅使用780m iGPU和5400mhz DDR5，速度为5t/s。个人而言，我觉得5t/s仍然更可用，因为我有足够的RAM，系统基本上还能正常使用。我甚至可以正常玩游戏，因为CPU部分没有负担。说实话，在我看来这很酷，因为它让模型更加实用：我可以直接启动它，然后继续正常使用我的系统，即使获得答案需要4倍的时间。
查看原文

相似文章

Qwen 3.8 27B 比预期更快

Reddit r/LocalLLaMA

一位用户报告称，Qwen 3.8 27B 模型在双 5060 TI 显卡上达到了 50-60 个令牌每秒的速度，显示出比之前版本（如 Qwen 3.6）更令人意外的速度提升。