rtx-5090

有用户报告称，最新的LM Studio更新（0.4.17）消除了多令牌预测的速度提升，在RTX 5090配置上恢复到之前的性能。

在 RTX 5090 上对 DFlash 推测解码结合 KV 缓存压缩进行的基准测试显示，针对 Qwen3.6-27B 模型最高可实现 3.26 倍加速，且困惑度下降极小，其中 q4_0/turbo4 提供了最佳平衡。

SANA Streaming 支持在单张NVIDIA RTX 5090 GPU上进行视频到视频生成。

一则推文显示，多令牌预测（MTP）在双RTX 5090硬件上为Qwen模型带来了显著的加速，表明本地推理现在可以与云模型性能媲美。

llama.cpp 发布版本 b9235 引入了推测性 n-gram 调优，在 RTX 5090 上的 Qwen3.6 27B 上实现了高达约 7 倍的吞吐量提升，其中 k4v96 配置在 10k 和 70k token 测试中表现出最佳的持续性能。

在 RTX 5090 上使用 Qwen3.6 模型对 llama.cpp 的新多标记预测（MTP）支持进行技术测试，比较不同提示和 GGUF 量化下开启和关闭 MTP 的性能表现。

Unsloth Qwen3.6 27B Q6_K 在 RTX 5090 上通过 MTP 达到每秒超过 100 个令牌，相比没有 MTP 时的 45-50 令牌/秒显著提升。

Open-dLLM 将 Qwen3.6 适配为使用扩散式生成，在 RTX 5090 上对于短序列实现了超过 3,000 tok/s 的吞吐量，相关代码已在 GitHub 上发布。

据传，NVIDIA 正计划因其 GDDR7 内存成本上涨而提高即将推出的 RTX 5090 显卡的价格。

追踪欧盟15家GPU商店显示，RTX 5090价格因AI/工作站需求上涨3%，而其他GPU下降7-9%，表明AI推理硬件价格将持续高位。

用户询问，相较于云计算的替代方案，花费约5500美元购买RTX 5090及高端PC用于LLM实验和学习是否值得。

一项基准测试显示，使用 vLLM 搭配 DFlash 投机解码，在单块 RTX 5090 上将 Gemma 4 26B 的推理速度提升至约 578 tokens/s，相比基线实现了 2.56 倍的加速。

用户报告称，在 RTX 5090 本地运行 Qwen3-27B-UD-Q6_K_XL.gguf，200K 上下文速度约 50 tok/s，编码表现出乎意料地可用，标志着本地模型质量大幅跃升。

用户分享在本地使用LM Studio配合Claude Code的运行体验，称使用RTX 5090可实现64k上下文并达到每秒200+ token的生成速度，效果令人满意。