标签
NVIDIA 的 RTX 5080 显卡目前在美国零售商处的售价已接近 2,000 美元,短短两个月内上涨了 800 美元。
NVIDIA 推出了来自各大 OEM 厂商的全新 RTX Spark 轻薄笔记本,并发布了开放权重的 Nemotron 3.5 Transcribe 语音模型、面向智能体的 GPU 资源管理工具,以及支持 DLSS 4.5 和路径追踪的全新游戏。
这篇文章探讨了 NVIDIA RTX 5090 显卡价格飙升至约 10,000 美元的原因,这很可能是出口限制和人工智能需求推动的。
一位用户展示了一台定制 AI 工作站,配备 8 块 Radeon R9700 GPU、一颗 Threadripper 9955WX 处理器和双海韵电源。该工作站从 4 块 GPU 升级至 8 块,以便在本地运行更大的模型。
一位开发者分享了 ApexW,这是一款实验性的 PyTorch 优化器,采用紧凑的优化器状态和基于 Triton 的执行路径,声称在大张量工作负载下,优化器步骤的执行速度约为原来的 1.5 倍,优化器状态内存占用减半——同时也坦言,在包含大量小张量的模型上会出现性能下降,且端到端性能提升微乎其微。
GPU 内核工程系列课程第 1 讲的实用笔记,涵盖 CUDA 13 对 GPU 计算能力的最低要求、驱动程序/工具包/PyTorch 运行时之间的区别、异步 GPU 计时的常见陷阱,以及如何修复 Nsight Compute 的 ERR_NVGPUCTRPERM 性能分析计数器权限错误。
Google Gemma 声称利用 Gemini 4 Argon 在 A100 上通过 vLLM 实现了 2.85 倍推理加速,gemma-4-E2B-it 吞吐量从约 37,900 提升至 108,000+ tokens/sec,且保持 100% token parity、无质量下降。
StereoLift Live 是一款新产品,可让拥有 NVIDIA GPU 的 Windows 或 Linux 用户通过局域网将桌面画面以实时立体 3D 形式串流到 Meta Quest 头显上。
对 Qwen3.8-Flash-Next NVFP4 模型在单张 RTX 5090 上使用三个推理引擎(basalt、capy-flash、ninfer-ext)进行完整 262k 上下文基准测试,basalt 在所有上下文长度和两种解码模式下均领先(预填充速度为 8.1k–9.2k 词元/秒,贪心解码速度为 176–265 词元/秒),解码排名与 MTP 草稿接受率一致。
一家维修店报告称,仅在两天内就收到了八张16针电源接口熔毁的英伟达 GeForce RTX 5090 和 RTX 4090 显卡,凸显出这种高功率接口设计反复出现的耐用性问题。
一场 llama.cpp 拉取请求讨论,内容涉及提升 AMD R9700 GPU 上的 strata 解码性能,并提及 ggml/llama.cpp 这一 C/C++ 大语言模型推理项目。
该论文系统比较了 2:4 半结构化稀疏化与量化在 LLM 推理中的取舍,发现在仍有更低精度可用时,加入 2:4 稀疏化既更慢又更不准确;只有在达到硬件量化下限(如 FP8/NVFP4)后,2:4 稀疏化才展现出 1.3–1.7× 的线性层加速价值,且需通过重训练恢复质量。
llama.cpp 的 PR #29887 新增了一个利用访问局部性的 LRU MoE 专家缓存,将 Qwen3.8-Flash-Next(94GB)在 RTX 5090 上的运行速度提升至 67.8 token/秒(原来的 2.2 倍),几天后,SGLang 也合并了类似的“分页专家”功能。
Blick Blog 讲解了即时模式 UI 如何与基于图块的渲染缓存配合工作:对每帧的绘制命令进行哈希,只重绘发生变化的区域。在 M3 MacBook Pro 上的基准测试显示,在轻度编辑任务中,CPU 和 GPU 的综合功耗降低了约 20%。
据报道,一个 Linux 内核模块黑客手段在 NVIDIA RTX 3090 显卡上实现了快 1.9 倍的 BF16 张量运算,将 BF16 TFLOPS 从 82 提升到 155,并提高了 cuBLAS GEMM 性能——因为 NVIDIA 出厂时这些显卡的张量运算采用 fp32 累加,运行速度只有一半。
Google Cloud 与 NVIDIA 宣布由 NVIDIA Vera Rubin NVL72 驱动的 A5X 实例正式商用,可扩展至最多 960,000 块 Rubin GPU,用于智能体推理和大规模强化学习,首批客户包括 Ineffable Intelligence 和 WPP。
NVIDIA 通过 Confidential Bare Metal、全新平台安全控制以及对 Grace Blackwell 和 Rubin 系统的支持,扩展其机密计算层,让前沿模型开发方能够在第三方基础设施上安全运行敏感工作负载,同时保持对模型和数据的掌控。
Rust 编译器团队宣布成立两个新小组:一个由 AMD、Nvidia 和 Intel 专家组成的 GPU 目标通知小组,用于协助诊断 GPU 相关问题;另一个是 Linker 工作区,专注于将 Wild 等替代链接器集成到编译器中。
Qwen3.8-Flash-Next 以 1.66bpw EXL3 量化版本发布,可完全装入一张 36GB 的 RTX 5090 中,无需卸载专家模块,实现 200-300 t/s 的稳定推理,且不会陷入思考循环。
一位开发者为 llama.cpp 分享了自定义的通用与融合 LoRA 内核,在 Strix Halo 上运行 LoRA 适配器时,提示词处理吞吐量从约 300 t/s 恢复到约 1400 t/s,并邀请其他人协助将这些改动推入上游。