gpu

用户分享了用 Strata 替换 llama.cpp 运行 Qwen 3.8 Flash Next 的体验，解码速度从 70–80 tk/s 提升至 150 tk/s，并顺带测试了 DeepSeek v4.1flash 的 2.25 位量化版本在多 GPU 上的表现。

一位美国 GPU 维修技术人员声称，存在配备 64GB 和 96GB 显存的 NVIDIA RTX 5090 版本，这表明这款 Blackwell 消费级显卡可能有专业级或工作站版本。

有人发布了名为 'gpu-unlock' 的开源工具，声称可移除英伟达对 GeForce 显卡的软件限制，使 RTX 3060/3090/4090 的算力大幅提升，并显著加速图像生成、模型微调与 LLM 推理等 AI 负载。

作者报告 RTX 8000 48GB 的价格已降至约 2100 美元，而 RTX 3090 的价格大致翻了一倍，他认为 RTX 8000 可能现在是家庭实验室（home-lab）环境下将大型本地模型完整跑在显存中的最佳'全能'选择。

一个用于 NVIDIA V100 SXM2 引脚定义和 NVLink 互连的开源参考套件，提供 800 个标准触点、连接表，以及适用于双 GPU 和四 GPU 配置的 KiCad 初始设计，为开源载板奠定基础。

PyTorch 基金会项目 Ray 宣布成立面向加速器的 Ray 特别兴趣小组（SIG），汇聚硬件厂商、云服务商和 Ray 社区，围绕厂商中立的路线图展开协作，涵盖硬件感知测试、拓扑感知调度以及 Ray Direct Transport。

一位开发者分享了开源的 vLLM 补丁和 Triton 内核，通过将完整的 int4 KV 缓存保存在系统内存中，并利用秩为 64 的键草图在每个注意力计算步骤中仅提取约 1% 的 token，实现了在两张 RTX 3090 上并发运行 8 个上下文长度为 25 万 token 的编程智能体。据其报告，总吞吐量约为 545–790 token/秒，在 25 万 token 的上下文长度下，召回成绩为 31/32。

作者将 Speedy 与 Avalon 和 Strata 进行了本地运行 Qwen3.8 模型的基准测试，发现 Speedy 速度大幅提升：读取速度快 4 倍，生成速度约为 105-110 tok/s，总墙钟时间比 Avalon 短 26-31%。

在内存短缺推动价格上涨的背景下，Wired 推荐联想 LOQ 15 为 1,500 美元以下的最佳游戏笔记本电脑，并特别指出，其售价 1,300 美元的 RTX 5060 配置和特价 999 美元的 RTX 5050 配置，性价比均令竞争对手难以匹敌。

作者分享了通过 Strata 推理引擎在两块 R9700 GPU 上运行 Qwen3.8 Flash-Next 的令人失望的结果：尽管每秒生成的 token 更多，但与 llama.cpp 相比，实际使用中并无提升，并质疑专用推理引擎是否被过度炒作。

一位用户在租用的 vast.ai 服务器上对 LLM 推理进行了基准测试。这些服务器配备双路 AMD EPYC 7642（ROME）主板、大容量 DRAM 和 RTX 3090 显卡。测试发现，大内存服务器配置在并发流数量增至 8 路的过程中实现了近乎线性的性能扩展——运行 Qwen 3.8 Flash Next Unsloth Q8 时，c=1 时达到 94 tok/s，c=8 时达到 456 tok/s。

一条推文猜测 NVIDIA 将停产 RTX 5090，并引用了一项说法，称已确认 RTX 5090 将有 64GB 和 96GB 版本。

Futhark 博客介绍了一种通过利用运行时数组布局信息、置换迭代空间来加速 GPU 大块数据拷贝的优化技术，该方法基于线性内存访问描述符（LMADs），对部分程序有小幅性能提升。

一篇技术解析，解释了为什么 LLM 在收到完全相同的请求时仍可能产生不同的输出：GPU 上浮点数的累加顺序会随批大小而变化，导致得分并列的候选词元的选择发生翻转，即使温度设为 0，生成结果也可能出现分歧。文章重点介绍了 vLLM、SGLang 和 DeepSeek 的 DeepInfer 中用于确保批次不变性的标志选项，并指出，为获得可复现的输出，需要在吞吐量上作出权衡。

一项详细的基准测试表明，QEngine 1.3.1（针对 RTX 5090 编译）是单流解码速度最快的 Qwen3.8-Flash-Next 引擎，速度约为 Strata 的 1.4–1.9 倍、调优后的 vLLM 的 3 倍，其 KV-in-RAM 模式可显著提升重新访问空闲会话时的热启动性能。

据报导，AMD 计划在 11 月再次上调 Radeon GPU 价格，这可能进一步影响显卡市场的定价动态。

一台配备 96GB 显存 NVIDIA GPU 的完整戴尔工作站，价格可能比单独购买这张显卡还低，凸显出高端 GPU 市场定价格局的变化。

一位 Reddit 用户称，戴尔目前正在销售搭载 RTX 6000 Pro Blackwell 工作站 GPU 的台式机，整机售价约为 1.2 万美元。算上折扣和返利后，仅 GPU 的净成本可能降至约 1 万美元——在 GPU 需求旺盛的背景下，这一价格低得不同寻常。

Rohan Paul 引用 Epoch AI 的数据指出，正在使用的 AI 芯片的总算力每年增至原来的 3.4 倍，但他警告说，如果新芯片采购量的增长放缓至每年增至原来的 2.5 倍，整体算力的增长也会随之放缓。

AMD 发布了 ROCm HRX Loom SDK v0.1，这是一个专门针对 AMD CPU、GPU 和 NPU 的编译器与中间表示（IR）技术栈，支持 AMDGPU HSA、SPIR-V/Vulkan，以及正在开发中的 x86/WebAssembly 后端。