标签
NVIDIA 的 Ujval Kapasi 在 PyTorchCon 2026 上发表主旨演讲,阐述智能体工作负载对 PyTorch 技术栈的需求,并以 NVIDIA Vera Rubin 为案例,介绍涵盖 CPU、GPU、内存和网络的软硬件协同设计,以及在 PyTorch、Triton 和 vLLM 上的优化工作。
swyx 指出,DeepSeek 在其知乎页面上分享了更多实质性细节,包括声称其自研推理框架 DeepInfer 每个集群每天可处理约 155 万亿个 token,每 GPU 小时收入达 38 美元;相较于通常每 GPU 小时 5–10 美元的成本,这意味着推理服务的利润率约为 80%。
DeepSeek 开源了 DeepInfer——支撑其大规模生产服务的高性能推理框架,具备优化内核、MoE 专家并行、投机解码、批不变推理等特性,并支持 NVIDIA SM100 GPU 和华为昇腾 950 NPU。
Marvell 发布了一款光子模块,可让 HBM 和 DDR 内存与 GPU 相距最远达 50 米,同时将延迟保持在数百纳秒级别,从而在 AI 集群中实现内存与计算的解耦扩展。
HardenedLinux 发布开源编译器优先的 AI 推理运行时 SonicBoom v0.0.3,声称在 RTX 3050 上解码速度超过 llama.cpp,并呼吁社区贡献 GPU 基准测试结果。
三款新工具让用户无需刷写即可在 Windows 和 Linux 上修改并加载 NVIDIA RTX 30/40/50 系列 GPU 的自定义 VBIOS 镜像,从而实现更高的功耗上限、解锁电压调节以及更大的超频偏移,同时保持显卡原始固件完整。
英特尔发布了 LLM-Scaler-vLLM PV 1.5,这是其面向 Arc 显卡硬件的容器化 vLLM 技术栈的一次重大更新,将 vLLM 从 0.14 版升级至 0.26 版,新增了对 Qwen 和 Gemma 模型的支持、FP8/INT4 量化功能,并提升了性能。
Artificial Analysis 的 AA-AgentPerf 基准通过回放真实编码智能体的运行轨迹来测试推理硬件的能效。结果显示,NVIDIA Vera Rubin 在几乎所有速度档位上均位居前沿首位,领先于 DeepSeek V4 Flash/Pro、Kimi K3 和 GLM-5.2/5.3 等模型的测试配置。
HP 正在促销一款全新的 RTX Spark 笔记本(HP OmniBook X),配置 128GB 内存,使用 25% 优惠券后价格为 $3832.49,为预算不到 $4000 的用户提供了一个比 Nvidia DGX Spark 更实惠的选择。
用户提到6月购买的GPU和DGX Spark价格至少上涨了1.5倍,并指出本地AI加速的性能数据很明确。
Netflix 技术博客文章,介绍其如何在大规模训练与推理任务中检测故障 GPU 和网络、自动修复故障机器,并让长时间运行的任务在硬件故障时继续运行。文章强调了 GPU 可靠性对可用性和成本效率的重要性,并解释了为何基础健康检查不足以应对现代 ML 基础设施的需求。
tqLLM 是一个 C++/CUDA 本地 LLM 推理引擎,支持 OpenAI 兼容 API 与 TurboQuant GGUF 权重,在 RTX 3090 和 RTX 5060 Ti 上实现 240+ tok/s 的解码速度、200K+ 长上下文以及不改变输出的投机解码。
回顾Nvidia于1999年10月11日发布GeForce 256——首款被其称为GPU的产品,以及Sega当年500万美元投资如何帮助Nvidia渡过难关并最终击败3dfx的历史故事。
我们使用全异步强化学习,通过混合精度、混合加速器采样器,在智能体编程任务上训练了一个模型,并通过应用离策略校正,以更低的成本实现了与同构集群相当的训练稳定性。
英伟达的 DLSS 5 将于 11 月 5 日在《霍格沃茨之遗》中首次亮相,在玩家强烈反对后,其对面部和环境画面的改动已大幅减弱;与此同时,10 月的更新让该模型在 RTX 50 系列 GPU 上运行速度提升一倍,参数量减少了 24%。
Intel 的“Crescent Island”GPU 获得了 D 系列命名,并支持最高 480 GB 的 LPDDR5X 内存,主要面向数据中心 AI 加速场景。
Intel 发布基于 Xe3P 架构、专为 agentic AI 优化的 GPU D 系列,这款风冷 PCIe 5.0 显卡支持 vLLM 与开源 PyTorch 生态中的主流开放模型。
英特尔发布面向推理优化的数据中心 GPU D270,配备最高 480GB LPDDR5X 内存、32 个 Xe3P 核心与 256 个 XMX 引擎,采用 350W 风冷 PCIe 5.0 标准形态,专为智能体 AI 和长上下文推理工作负载设计。
一段 Twitter 上的交流,探讨 GPU 是否最终会租用更多 GPU 来训练更先进的自身版本,同时指出,算力不足和 token 生成不足在未来多年里仍将是 AI 进步的瓶颈。