@MinLiBuilds: 新的斩杀线已出现Qwen3.8-27B。 AA指数 52.0 分,能力上屠杀榜上 108/137 的模型。 如果价格比他们更便宜,就地斩杀线。 本地成本公式就一行: 每 Token 成本 =(整机价 + 三年电费)÷ 三年总产出 Toke…
摘要
Qwen3.8-27B 模型被展示为具有高性价比的本地部署AI模型,通过成本分析显示其在性能和成本上显著优于云端模型如Opus,强调了本地推理的经济效益。
查看缓存全文
缓存时间: 2026/08/19 00:35
新的斩杀线已出现Qwen3.8-27B。
AA指数 52.0 分,能力上屠杀榜上 108/137 的模型。
如果价格比他们更便宜,就地斩杀线。
本地成本公式就一行:
每 Token 成本 =(整机价 + 三年电费)÷ 三年总产出 Token
三年总产出 Token = 26280 小时 × 利用率 × 3600 秒 × 每秒吞吐。
真正决定成本的只有一个变量:利用率。
成本固定,干的越多越便宜。
以下数字纯 YY,按照社区可能追踪达到的数值来推演,不影响观看效果。
拿一台 RTX 5090 算:
整机 3.5 万人民币,27B 4bit 量化,高并发总吞吐按 800 tok/s,电价 6 毛,三年折旧。
每天只干 2.4 小时,也就是 10% 利用率:
产出的 Token 相当于 $0.697 / 百万 Token。
假设 Opus 4.6 还在,参考 Opus 5 的价格。
比 Opus 4.6 便宜 36 倍。
每天干 4.8 小时:
$0.356 / 百万 Token。
便宜 70 倍。
重点来了。
如果把 5090 当服务跑,利用率拉到 70%:
三年能吐 530 亿 Token,总成本约 4.2 万人民币。
如果不看没 KV Cache 的并发限制,也没算 Context 变长以后 Batch 下降带来的吞吐损失。
按同档最便宜的云端模型价格卖,理论毛利率 91%,满载约 72 天回本。
当然,这只是理论值。
所以再狠一点:
每天只干 2.4 小时,本地跑依然比 Opus 4.6 便宜约 18 倍。
这才是 27B Dense 真正恐怖的地方:
它已经够强了。
但 Token 成本,开始不是一个数量级了。
Thread2 里有更多的参数对比。
DGX Spark 上,体验完全是另一回事。
一个任务发出去,你可能要盯着空屏幕发呆很久,才能看到第一个答案字符。
整个任务跑完也要很久。
这已经不是交互式推理了,更像批处理。
所以 DGX Spark 这种统一内存大、但带宽相对有限的机器,反而更适合 Ling-3-Flash 这类 MoE 模型。
总参数可以很大,但每个 Token 真正激活的参数少得多。
Dense 模型能塞进去,不代表适合跑。
能跑,和跑得爽,是两回事。
如果你想看怎么在本地一步一步部署 MoE 或者 Dense 模型,以及接入 Claude Code 详细步骤,可以看下文。
A new kill line has emerged: Qwen3.8-27B.
AA Index score: 52.0, dominating 108/137 models on the capability leaderboard.
If the price is cheaper than them, it’s an on-site kill line.
The local cost formula is just one line:
Cost per Token = (Full machine price + 3 years of electricity) ÷ Total Tokens produced in 3 years
Total Tokens produced in 3 years = 26,280 hours × Utilization rate × 3,600 seconds × Throughput per second.
The only variable that truly determines cost: utilization rate.
With fixed costs, the more you run, the cheaper it gets.
The numbers below are pure speculation, extrapolated from values the community might realistically track—doesn’t affect the viewing experience.
Let’s take an RTX 5090 as an example:
Full machine: 35,000 RMB, 27B 4-bit quantized, high-concurrency total throughput at 800 tok/s, electricity at 0.6 RMB/kWh, 3-year depreciation.
Running just 2.4 hours a day, i.e., 10% utilization:
Output Tokens equivalent to $0.697 per million Tokens.
Assuming Opus 4.6 is still around, referencing Opus 5’s pricing.
36 times cheaper than Opus 4.6.
Running 4.8 hours a day:
$0.356 per million Tokens.
70 times cheaper.
Here’s the key point.
If you run the 5090 as a service and crank utilization to 70%:
It can output 53 billion Tokens over 3 years, total cost about 42,000 RMB.
This doesn’t account for concurrency limits without KV Cache, nor the throughput drop from longer contexts causing batching declines.
Selling at the price of the cheapest cloud model in the same tier, theoretical gross margin 91%, full load payback in about 72 days.
Of course, this is just theoretical.
So, to be even more ruthless:
Running just 2.4 hours a day, local deployment is still about 18 times cheaper than Opus 4.6.
This is the truly terrifying part of 27B Dense:
It’s already strong enough.
But Token cost? It’s not even in the same league anymore.
Thread2 has more parameter comparisons.
On DGX Spark, the experience is a whole different story.
You send out a task, and you might be staring at a blank screen in a daze for a long time before seeing the first answer character.
The whole task takes forever to finish.
This isn’t interactive reasoning anymore—it’s more like batch processing.
So, machines like DGX Spark, with massive unified memory but relatively limited bandwidth, are actually better suited for MoE models like Ling-3-Flash.
Total parameters can be huge, but the actually activated parameters per Token are way fewer.
Just because you can cram a Dense model in doesn’t mean it’s a good fit.
Being able to run it and running it smoothly are two different things.
If you want to see how to deploy MoE or Dense models locally step by step, plus detailed steps for integrating Claude Code, check below.
当机器的成本固定时,把机器的成本摊销成 3 年,用的越多,token 产生越多,摊销越便宜。
如果你狠狠使用,回本就更快。
以下是一些理论值,可以供参考,没有考虑 Infra 相关的投入。
以前在工地,就是专门算 Infra 电费的。
dario 和 sam 的万亿估值要被消灭
我之前做过效果评测的,可以看看
又涨价了么,我还停留在 2.6 万一张卡
我今天刚询价一台双卡的,有点害怕,他说明天给我报价
可以的,双卡就能自产自销,只要有工作流,就可以免费不停出视频了
相似文章
Qwen 3.8 27b 发布:本地AI的重大新闻
Qwen 3.8 27b,一个参数小于300亿的AI模型,已经发布,适合在消费级硬件如RTX 3090或M4 Pro上进行本地推理,有可能取代基于云的AI订阅,并将工作流程转移到本地。
@Xudong07452910: Hacker News 上有一篇评论区火了的文章:Qwen 3.6 27B 是本地开发的理想选择。 核心发现是:密集参数模型、原生支持 256k 上下文,在 MacBook Max M5 上跑 Q8_0 量化版能达到 30 tokens/…
Qwen 3.6 27B is a dense 27B model that achieves impressive performance on local hardware with 256k context, running at 30 tokens/s on MacBook Max M5 and 50 tokens/s on RTX 5090, and is considered by some as the first local model with true general intelligence.
@zhixianio: 这两天新机器到了之后,我开始了「苦行僧」式的强迫自己使用本地模型来完成常见任务的修行 本以为会非常痛苦,没想到无论是速度还是质量都大大超出我的预期: 模型: Qwen3.6-35B-A3B-oQ6-fp16-mtp 运行:oMLX,开 N…
作者在本地新机器上使用Qwen3.6-35B-A3B模型和oMLX工具进行日常任务,发现速度和效果远超预期,甚至在PA和Coding场景下优于远程LLM,体现了端侧AI能力的显著提升。
AI使用成本既在变贵也在变便宜。2026年前沿对决
两款前沿AI模型——Moonshot AI的Kimi K3(2.8T开放权重MoE)和阿里云的Qwen 3.8 Max(2.4T稀疏MoE)于7月发布,各具优势:Kimi K3在速度和成本控制方面表现出色,而Qwen 3.8 Max则提供自主性和多模态能力。
Qwen 3.7 Max
Qwen 3.7 是一款来自中国实验室的新AI模型,令人印象深刻,讨论焦点在于其权重是否可供下载。