gpu

据报道，NVIDIA RTX 5080 24GB 版本预计将于 2027 年第一季度推出，但板卡合作伙伴仍在等待更多细节。

ROCmFPX 的 llama.cpp 下游项目更新了投机解码的草稿词表实现，改为按序列存储候选集并默认启用（16384 行），将候选行数从 248K 降至 16K，令牌生成速度提升约 11.4%（35.14/35.31 → 39.18/39.32 tok/s）。

Project Maya 是一个开源工具，可在本地 GPU 上运行 321B 参数的 GLM-5.3-Flash 模型，通过分层存储（GPU/RAM/NVMe）和自动调优实现单卡 30+ tokens/s 的推理速度，并提供 OpenAI/Anthropic 兼容 API。

由于 AI 公司以整托盘批量采购，RTX 5090 游戏显卡的价格一路飙升至约 5000 美元，将消费级显卡价格推上了天。

一篇社区帖子，探讨为了本地 LLM 推理和智能体编程，是购买一台配备 256GB 内存的 M5 Ultra，还是两台 NVIDIA DGX Spark，并与现有的 RTX 5090 配置对比，权衡提示词处理性能和吞吐量。

市场上正在流通新型假冒 RTX 4090 显卡，其 GPU 和显存芯片与正品几乎无法区分，给买家带来了风险。

据报道，AMD 正在上调提供给板卡合作伙伴的 GDDR6 显存价格，这可能会影响下游显卡产品的定价与供货情况。

据报道，英伟达已停止生产GeForce RTX 5090，转而将产能分配给人工智能数据中心和专业图形处理器。预计供应短缺将推高价格，RTX 5080的24GB版本或将取而代之，成为新的游戏旗舰。

据报道，NVIDIA 正在停产 RTX 5090，并将 GB202 GPU 转用于专业级 RTX PRO 系列，而非消费级显卡。

一位用户报告称，在配备 RTX PRO 6000 的 Strata 上运行采用 Unsloth UD-Q4_K_XL 量化的 Qwen3.8-Flash-Next 时，单请求解码速度表现出色；在文本写作、计数、编程和推理任务中，其吞吐量约为同一 GPU 上 vLLM 的 2 倍。

Basalt 是一个专为 Blackwell 架构（5090 + 5060 Ti）深度优化的 Strata 分支推理引擎，据称吞吐量可达 Strata 的 2.6 倍，支持 Qwen3.8 Flash-Next、MTP、最多 8 路并发以及自定义视觉编码器，以 MIT 协议完全开源。

开发者 loktar00 展示 GLM 5.3 Flash 在本地 RTX 3090 显卡上通过 JavaScript 直接生成图像（而非专门的图像模型），展示了开源模型在消费级硬件上的强大本地推理能力。

@MinLiBuilds 花费 80 GPU 小时对 Qwen 3.8 Flash Next 125B 进行三轮测试，评估 7 种量化权重并给出针对不同显卡的部署建议，同时介绍能将 125B 模型塞入消费级显存的 Strata 推理框架。

一位社区成员分享了自己搭建的基于 AMD Epyc 的本地 LLM 推理主机：256GB 内存和四块 GPU 共 72GB 显存，并询问其他人使用 RAM 和 VRAM 混合运行大型 MoE 模型的经验。

提出名为 galahad-kv 的记忆层，将 KV 注意力状态持久化到加密 NVMe 存储，实现 5000 万 token 的长期记忆窗口，恢复比重新计算快 2.8–4.3 倍且 GPU 能耗降低 8.8–12.3 倍，并保持恒定显存。

一位 Reddit 用户用 8 张 Radeon Pro V620（256GB VRAM）和自定义 vLLM fork，让 Qwen3.8-Flash-Next 达到 60-100 t/s 解码速度和 3000+ t/s 预填充，比 llama.cpp 快约 800%。

作者在同一块 RTX 4090 上对四个开源决策模型（Laya、d1 3B、Clef-Flash 9B、Lev 4B）进行了逐词推理基准测试，Laya 以每词 3.9ms 的延迟成为最快，Lev 准确率最高但慢了 13 倍。

拥有NVIDIA CMP170HX 10Gb显卡的用户很快将迎来显存解锁，内存容量将从40GB提升至48GB，该改装预计很快推出。

作者使用 Drifting 方法在一块 RTX 5090 上从零开始训练了土耳其语 TTS 模型，并开源了代码仓库与 Hugging Face 在线演示。

NVIDIA AI Developer 分享了一段直播内容，重点介绍了 CUDA 13.4 的新特性，涵盖 NVIDIA GPU 计算平台和开发者工具包的更新。