Tag
据报道，NVIDIA RTX 5080 24GB 版本预计将于 2027 年第一季度推出，但板卡合作伙伴仍在等待更多细节。
ROCmFPX 的 llama.cpp 下游项目更新了投机解码的草稿词表实现，改为按序列存储候选集并默认启用（16384 行），将候选行数从 248K 降至 16K，令牌生成速度提升约 11.4%（35.14/35.31 → 39.18/39.32 tok/s）。
Project Maya 是一个开源工具，可在本地 GPU 上运行 321B 参数的 GLM-5.3-Flash 模型，通过分层存储（GPU/RAM/NVMe）和自动调优实现单卡 30+ tokens/s 的推理速度，并提供 OpenAI/Anthropic 兼容 API。
RTX 5090 gaming GPUs are spiking to around $5,000 as AI companies purchase them in bulk by the pallet, driving consumer card prices skyward.
A community post weighing whether to buy an M5 Ultra 256GB or dual NVIDIA DGX Spark units for local LLM inference and agentic coding, comparing prompt processing and throughput trade-offs against an existing RTX 5090 setup.
New fake RTX 4090 graphics cards are circulating on the market, featuring GPUs and memory chips that are nearly indistinguishable from genuine ones, posing a risk to buyers.
AMD is reportedly increasing GDDR6 memory prices for its board partners, potentially impacting GPU pricing and availability downstream.
Nvidia据报已停止GeForce RTX 5090的生产，转而将产能分配给AI数据中心和专业GPU，预计供应短缺将推高价格，RTX 5080 24GB版本或将取代成为新的游戏旗舰。
NVIDIA reportedly discontinuing the RTX 5090, with GB202 GPUs being redirected to the professional RTX PRO series instead of consumer cards.
A user reports strong single-request decode speeds running Qwen3.8-Flash-Next in Unsloth's UD-Q4_K_XL quant on Strata with an RTX PRO 6000, showing roughly 2x faster throughput than vLLM on the same GPU across prose, counting, coding, and reasoning tasks.
Basalt 是一个专为 Blackwell 架构（5090 + 5060 Ti）深度优化的 Strata 分支推理引擎，据称吞吐量可达 Strata 的 2.6 倍，支持 Qwen3.8 Flash-Next、MTP、最多 8 路并发以及自定义视觉编码器，以 MIT 协议完全开源。
开发者 loktar00 展示 GLM 5.3 Flash 在本地 RTX 3090 显卡上通过 JavaScript 直接生成图像（而非专门的图像模型），展示了开源模型在消费级硬件上的强大本地推理能力。
@MinLiBuilds 花费 80 GPU 小时对 Qwen 3.8 Flash Next 125B 进行三轮测试，评估 7 种量化权重并给出针对不同显卡的部署建议，同时介绍能将 125B 模型塞入消费级显存的 Strata 推理框架。
A community member shares their build of an AMD Epyc-based local LLM inference rig with 256GB RAM and four GPUs totaling 72GB VRAM, and asks others about their experience running large MoE models across RAM and VRAM.
提出名为 galahad-kv 的记忆层，将 KV 注意力状态持久化到加密 NVMe 存储，实现 5000 万 token 的长期记忆窗口，恢复比重新计算快 2.8–4.3 倍且 GPU 能耗降低 8.8–12.3 倍，并保持恒定显存。
一位 Reddit 用户用 8 张 Radeon Pro V620（256GB VRAM）和自定义 vLLM fork，让 Qwen3.8-Flash-Next 达到 60-100 t/s 解码速度和 3000+ t/s 预填充，比 llama.cpp 快约 800%。
作者在同一块 RTX 4090 上对四个开源决策模型（Laya、d1 3B、Clef-Flash 9B、Lev 4B）做了逐词推理基准测试，Laya 以每词 3.9ms 的延迟成为最快，Lev 准确率最高但慢 13 倍。
Owners of the NVIDIA CMP170HX 10Gb graphics card can look forward to a VRAM unlock increasing memory from 40GB to 48GB, with the mod expected to arrive soon.
作者使用 Drifting 方法在一块 RTX 5090 上从零开始训练了土耳其语 TTS 模型，并开源了代码仓库与 Hugging Face 在线演示。
NVIDIA AI Developer shared a broadcast highlighting what's new in CUDA 13.4, covering updates to NVIDIA's GPU computing platform and developer toolkit.