标签
Cerebras 联合创始人兼 CEO Andrew Feldman 解释了为什么公司的晶圆级架构在 LLM 解码阶段,内存到计算的数据搬运速度比 GPU 快约 2,500 倍,原因在于 Cerebras 将模型权重保留在片上 SRAM 中,而不是 HBM。
Mold 是一个 CLI 原生的本地 AI 媒体生成开源项目,支持在自有的 NVIDIA CUDA 或 Apple Silicon 上运行图像、视频与 3D 生成模型,统一了原本分散的本地 AI 媒体工具流程。
据报道,Micro Center 现在要求购买 RTX 5090 的消费者签署一份购买人声明表,其中包括"不出口"承诺和身份验证,此举旨在遏制 GPU 流向中国等受禁地区,但分析师怀疑这并不能阻止黑市走私行为。
PyTorch 的 Helion 内核 DSL 已集成到 vLLM 的线性后端中,单一的自动调优 GEMM 实现即可覆盖 Standard GEMM、Split-K 和 Swap-AB 等多种变体,并在 NVIDIA Hopper GPU 上超越 CUTLASS 与 DeepGEMM 后端,部分工作负载的吞吐量提升超过 10%。
一条推文,评论了 NVIDIA DGX Spark 价格上涨的原因,并附上了关于该话题的外部资源链接。
美国以涉嫌通过马来西亚和新加坡向中国走私价值超过3亿美元的出口管制Nvidia A100与H100 GPU服务器为由,逮捕了Earthmade Computer首席执行官Greg Lui,此事是多起Nvidia相关芯片走私案的一部分。
gpuvis 是由 Valve 开发、采用 MIT 许可证的 GPU 追踪可视化工具,基于 Dear ImGui、SDL 和 gl3w 构建,用于分析图形追踪数据。该项目的文档托管在其 GitHub 仓库和 wiki 中,并集成了多种第三方库。
Lucebox 开放了 Zero 495 的订购,这是一台 AI 推理工作站,将 AMD 的 Ryzen AI MAX+ PRO 495(最高 192GB 统一内存)与 32GB Radeon AI PRO R9700 组合在同一台设备中,通过跨双芯片的模型拆分实现最高 50 tok/s 的推理速度。起售价 $5,999,预装系统将于 2027 年 1 月发货,最高可配 4TB SSD 及可选 100 GbE 集群套件。
Apex Compute 正在为自家 AI 硬件开发开源的 Mesa Vulkan 驱动,使其加速器平台能够原生支持开源图形软件。
OpenAI 的 GPT-6 Astra Ultrafast 模式运行在 NVIDIA Blackwell GPU 上,现已通过 OpenAI API 提供,并向符合条件的 ChatGPT Work 和 Codex 用户开放,其 token 生成速度比 Astra 标准模式最高快 8 倍。OpenAI 表示,其利用自有模型优化 NVIDIA 硬件上的推理内核,从而提升延迟、吞吐量表现并降低成本,助力智能体化编程工作流。
一篇深度科技长文,分析 Google 的 TPU 芯片能否挑战 Nvidia 的 GPU 霸主地位,指出胜负关键不仅在硬件本身,更在于 CUDA 软件生态、成本账单以及 Anthropic 等大客户在两种芯片之间分散下注的策略。
NVIDIA 认为其 AI 工厂通过三大特性实现投资回报最大化:高效(每兆瓦产出的 token 最多)、持久(A100 等 GPU 可持续多年创造收益)、通用(可运行任意工作负载)。文中引用 SemiAnalysis 数据,显示 Vera Rubin NVL72 的每兆瓦吞吐量比 GB300 NVL72 高出 30 倍以上。
一篇面向 AI 工程师的 GPU 深度解析,涵盖 GPU 架构(SM、Tensor Core、CUDA kernel)、训练与推理的差异、GPU 各代产品与定价、NVIDIA 的竞争对手,以及在本地运行 gpt-oss-120b 和 Kimi K3 所需的显存与算力实操计算。
Hugging Face Diffusers 上张量并行(tensor parallel)加载迎来重大优化:在 Flux.2-Dev DiT、TP=4(A10G)配置下,加载时间从 30.4s 降至 12.5s(约 2.4 倍提速),每 rank 峰值 CPU 内存从 64.1 GB 降至 6.8 GB(减少约 89%)。相关分布式推理(Accelerate 与 PyTorch Distributed)用法已更新到官方文档。
有买家反映 NVIDIA DGX Spark 难以买到,价格似乎在一周内上涨了约 $2,000,当地 Micro Center 的库存一夜之间售罄,引发关于供货分配的疑问。
AlexNet提交到ImageNet的14周年开启了现代深度学习革命。作者用开源创意流程来庆祝这一时刻,流程基于Qwen-Image 2.1、LTX-2.3、Wan 2.1、InfiniteTalk和ComfyUI,全部运行在一张RTX 3090上。
用户 @loktar00 分享发现,RTX 3090 在推理负载下可以把功耗限制降到远低于常见的 210-240W 范围,最低约 120W,显著减少发热和耗电。
关于原生 Rust + Vulkan Transformer 训练后端的后续更新:目前有 14 个架构通过了基于固定版本 Hugging Face Transformers 参考实现的严格对等性验证全训练门槛,同时完整的 PEFT 工作流(LoRA、saved modules、适配器切换、精确恢复)已在 32 个架构层面得到验证。
作者对Qwen3-4B进行了后训练,以减少推理中44%的令牌使用,同时保持其知识和风格,训练在单个GPU上完成。