tps

标签

Cards List
#tps

ThinkingCap-Qwen3.6-27B 值得一看

Reddit r/LocalLLaMA · 2026-07-28

用户报告称,与 Qwen3.5-27B 相比,ThinkingCap-Qwen3.6-27B 的每秒 token 数(tps)有所提升,且质量未受影响,建议将其作为日常主力模型使用,直至 Qwen 推出下一个版本。

0 人收藏 0 人点赞
#tps

@scaling01: DeepSeek 刚刚将其推理成本降低约5倍,吞吐量达50 TPS

X AI KOLs Following · 2026-06-27 缓存

DeepSeek 已将推理成本降低约5倍,同时保持每秒50个token的吞吐量。

0 人收藏 0 人点赞
#tps

在 V100 上使用 Qwen3.6 27B 实现每秒 1000 tokens 生成

Reddit r/LocalLLaMA · 2026-05-25

在 V100 GPU 上,使用 Qwen3.6 27B 模型,通过 128 个并发请求实现了每秒 1000 tokens 的生成速度,单用户下为 80 t/s。

0 人收藏 0 人点赞
← 返回首页

提交意见反馈