标签
英伟达的Jetson GPU将部署在前往月球的Lunar Outpost月球车上,很可能成为首个登上月球表面的GPU,以实现先进的自主导航。
作为合作的一部分,AMD将向Anthropic投资高达50亿美元,Anthropic将部署AMD的Instinct MI450 GPU用于AI基础设施。两家公司还计划利用Anthropic的Claude模型进行多年工程合作。
讨论了一期 Latent Space 播客,其中 Anjney Midha 解释为何拥有无限 GPU 的 AI 实验室仍会失败,并结合他在 amppublic 和 a16z 的经历进行了阐述。
NVIDIA全栈推理软件与硬件协同设计,仅一个月内就在Blackwell平台上将Token成本降低多达5倍,为AI工厂实现更低的每Token成本。Baseten、Cognition、Deep Infra和Together AI等公司正在使用该软件栈优化推理性能。
Valve正在与Intel和Nvidia合作,将SteamOS支持扩展到更多GPU和手持设备,包括为Intel手持设备提供初始固件,以及为Nvidia持续进行驱动开发。
一位研究人员表示,是时候购买更多GPU并构建本地AI堆栈了,并提到Qwen 3.5 27B和GLM 5.2等模型消除了永久底层阶级的威胁。
讨论在没有高性能计算资源的情况下是否还能进行基础AI研究,考虑到像“Attention is all you need”这样的早期工作使用的是消费级GPU。
在一条推文中,Sarah Hooker 指出 GPU 并不适合现实世界数据的长尾分布,并建议需要替代性 AI 硬件。
作者认为,由于硬件成本高昂,运行本地大语言模型已变得难以企及,这与早期消费级GPU尚能胜任的情况形成鲜明对比,并对看似不再民主的访问权表达了不满。
卡内基梅隆大学软件工程研究所发布了一篇机器学习训练基础设施概述,涵盖了硬件考量(如GPU与CPU)以及内存需求等。
本文讨论了代理型AI如何可能将计算焦点从GPU转回CPU,引用了OpenAI的CFO和Ark Invest的CEO。它认为代理的推理涉及编排和通用任务,CPU处理这些任务更擅长。
Hugging Face 分享了社区硬件统计数据,展示了其用户中 GPU、CPU 和 Apple Silicon 的分布情况。
Modal介绍了他们开发的四个关键要素,可在几秒而非几分钟内启动无服务器GPU推理副本,从而实现对多变AI工作负载的高效GPU分配。
本文深入解析内存带宽作为本地 AI 硬件性能的关键指标,对比了 NVIDIA、Apple、AMD、Intel 等厂商在不同性能层级下的当前 GPU 与统一内存系统。