gpu

标签

Cards List
#gpu

NVIDIA RTX 5080 在美国零售商处的售价现已接近 2,000 美元,短短两个月内上涨了 800 美元

Reddit r/LocalLLaMA ↗ · 2026-10-28

NVIDIA 的 RTX 5080 显卡目前在美国零售商处的售价已接近 2,000 美元,短短两个月内上涨了 800 美元。

0 人收藏 0 人点赞
#gpu

轻薄全能,无处不战:NVIDIA RTX Spark Windows 笔记本新增机型、智能体工具与游戏

NVIDIA Blog ↗ · 2026-10-28 缓存

NVIDIA 推出了来自各大 OEM 厂商的全新 RTX Spark 轻薄笔记本,并发布了开放权重的 Nemotron 3.5 Transcribe 语音模型、面向智能体的 GPU 资源管理工具,以及支持 DLSS 4.5 和路径追踪的全新游戏。

0 人收藏 0 人点赞
#gpu

5090 现在卖到一万美元的原因……

Reddit r/LocalLLaMA ↗ · 2026-10-27

这篇文章探讨了 NVIDIA RTX 5090 显卡价格飙升至约 10,000 美元的原因,这很可能是出口限制和人工智能需求推动的。

0 人收藏 0 人点赞
#gpu

8台 R9700 系统升级

Reddit r/LocalLLaMA ↗ · 2026-10-27

一位用户展示了一台定制 AI 工作站,配备 8 块 Radeon R9700 GPU、一颗 Threadripper 9955WX 处理器和双海韵电源。该工作站从 4 块 GPU 升级至 8 块,以便在本地运行更大的模型。

0 人收藏 0 人点赞
#gpu

我为大规模 GPU 工作负载开发了一个 PyTorch 优化器——希望获得反馈[P]

Reddit r/MachineLearning ↗ · 2026-10-27

一位开发者分享了 ApexW,这是一款实验性的 PyTorch 优化器,采用紧凑的优化器状态和基于 Triton 的执行路径,声称在大张量工作负载下,优化器步骤的执行速度约为原来的 1.5 倍,优化器状态内存占用减半——同时也坦言,在包含大量小张量的模型上会出现性能下降,且端到端性能提升微乎其微。

0 人收藏 0 人点赞
#gpu

搭建 GPU 内核开发环境的实用笔记:CUDA 13 的 GPU 支持界限、异步计时陷阱、性能分析器计数器权限 [P]

Reddit r/MachineLearning ↗ · 2026-10-27

GPU 内核工程系列课程第 1 讲的实用笔记,涵盖 CUDA 13 对 GPU 计算能力的最低要求、驱动程序/工具包/PyTorch 运行时之间的区别、异步 GPU 计时的常见陷阱,以及如何修复 Nsight Compute 的 ERR_NVGPUCTRPERM 性能分析计数器权限错误。

0 人收藏 0 人点赞
#gpu

@googlegemma:加速 Gemma!Gemini 4 Argon 在 A100 上通过 vLLM 实现 2.85 倍加速,吞吐量从约 37,900 跃升至 108,000+ tokens/…

X AI KOLs Following ↗ · 2026-10-26 缓存

Google Gemma 声称利用 Gemini 4 Argon 在 A100 上通过 vLLM 实现了 2.85 倍推理加速,gemma-4-E2B-it 吞吐量从约 37,900 提升至 108,000+ tokens/sec,且保持 100% token parity、无质量下降。

0 人收藏 0 人点赞
#gpu

StereoLift Live

Product Hunt ↗ · 2026-10-25 缓存

StereoLift Live 是一款新产品,可让拥有 NVIDIA GPU 的 Windows 或 Linux 用户通过局域网将桌面画面以实时立体 3D 形式串流到 Meta Quest 头显上。

0 人收藏 0 人点赞
#gpu

NVFP4 下的 Qwen3.8-FN(Basalt vs cachy-flash vs ninfer-ext)

Reddit r/LocalLLaMA ↗ · 2026-10-22

对 Qwen3.8-Flash-Next NVFP4 模型在单张 RTX 5090 上使用三个推理引擎(basalt、capy-flash、ninfer-ext)进行完整 262k 上下文基准测试,basalt 在所有上下文长度和两种解码模式下均领先(预填充速度为 8.1k–9.2k 词元/秒,贪心解码速度为 176–265 词元/秒),解码排名与 MTP 草稿接受率一致。

0 人收藏 0 人点赞
#gpu

维修店两天内收到八张16针供电接口熔毁的GeForce RTX 5090和RTX 4090显卡

Reddit r/LocalLLaMA ↗ · 2026-10-22

一家维修店报告称,仅在两天内就收到了八张16针电源接口熔毁的英伟达 GeForce RTX 5090 和 RTX 4090 显卡,凸显出这种高功率接口设计反复出现的耐用性问题。

0 人收藏 0 人点赞
#gpu

Llama.cpp PR:如何使用 R9700 超越 strata 的解码性能

Reddit r/LocalLLaMA ↗ · 2026-10-22 缓存

一场 llama.cpp 拉取请求讨论,内容涉及提升 AMD R9700 GPU 上的 strata 解码性能,并提及 ggml/llama.cpp 这一 C/C++ 大语言模型推理项目。

0 人收藏 0 人点赞
#gpu

2:4 稀疏性还值得采用吗?大语言模型推理中的半结构化稀疏性与量化之比较

arXiv cs.LG ↗ · 2026-10-22 缓存

该论文系统比较了 2:4 半结构化稀疏化与量化在 LLM 推理中的取舍,发现在仍有更低精度可用时,加入 2:4 稀疏化既更慢又更不准确;只有在达到硬件量化下限(如 FP8/NVFP4)后,2:4 稀疏化才展现出 1.3–1.7× 的线性层加速价值,且需通过重训练恢复质量。

0 人收藏 0 人点赞
#gpu

引用局部性助力 94GB 的 Qwen3.8-Flash-Next 在单张 RTX 5090 上以每秒 68 个 token 的速度运行

Reddit r/artificial ↗ · 2026-10-21

llama.cpp 的 PR #29887 新增了一个利用访问局部性的 LRU MoE 专家缓存,将 Qwen3.8-Flash-Next(94GB)在 RTX 5090 上的运行速度提升至 67.8 token/秒(原来的 2.2 倍),几天后,SGLang 也合并了类似的“分页专家”功能。

0 人收藏 0 人点赞
#gpu

别全扔了:为即时模式 UI 做缓存

Lobsters Hottest ↗ · 2026-10-21 缓存

Blick Blog 讲解了即时模式 UI 如何与基于图块的渲染缓存配合工作:对每帧的绘制命令进行哈希,只重绘发生变化的区域。在 M3 MacBook Pro 上的基准测试显示,在轻度编辑任务中,CPU 和 GPU 的综合功耗降低了约 20%。

0 人收藏 0 人点赞
#gpu

@no_stp_on_snek:哦啦啦,我们在这儿发现了什么?

X AI KOLs Timeline ↗ · 2026-10-21 缓存

据报道,一个 Linux 内核模块黑客手段在 NVIDIA RTX 3090 显卡上实现了快 1.9 倍的 BF16 张量运算,将 BF16 TFLOPS 从 82 提升到 155,并提高了 cuBLAS GEMM 性能——因为 NVIDIA 出厂时这些显卡的张量运算采用 fp32 累加,运行速度只有一半。

0 人收藏 0 人点赞
#gpu

Google Cloud 与 NVIDIA 宣布 NVIDIA Vera Rubin 基础设施正式商用

NVIDIA Blog ↗ · 2026-10-21 缓存

Google Cloud 与 NVIDIA 宣布由 NVIDIA Vera Rubin NVL72 驱动的 A5X 实例正式商用,可扩展至最多 960,000 块 Rubin GPU,用于智能体推理和大规模强化学习,首批客户包括 Ineffable Intelligence 和 WPP。

0 人收藏 0 人点赞
#gpu

NVIDIA 机密计算持续扩展,助力前沿模型开发方在全球基础设施上安全扩展

NVIDIA Blog ↗ · 2026-10-21 缓存

NVIDIA 通过 Confidential Bare Metal、全新平台安全控制以及对 Grace Blackwell 和 Rubin 系统的支持,扩展其机密计算层,让前沿模型开发方能够在第三方基础设施上安全运行敏感工作负载,同时保持对模型和数据的掌控。

0 人收藏 0 人点赞
#gpu

宣布成立 GPU 通知小组和 Linker 工作区

Lobsters Hottest ↗ · 2026-10-21 缓存

Rust 编译器团队宣布成立两个新小组:一个由 AMD、Nvidia 和 Intel 专家组成的 GPU 目标通知小组,用于协助诊断 GPU 相关问题;另一个是 Linker 工作区,专注于将 Wild 等替代链接器集成到编译器中。

0 人收藏 0 人点赞
#gpu

Qwen3.8-Flash-Next @ 1.66bpw-exl3 在 36GB 显存下稳定运行

Reddit r/LocalLLaMA ↗ · 2026-10-21

Qwen3.8-Flash-Next 以 1.66bpw EXL3 量化版本发布,可完全装入一张 36GB 的 RTX 5090 中,无需卸载专家模块,实现 200-300 t/s 的稳定推理,且不会陷入思考循环。

0 人收藏 0 人点赞
#gpu

llama.cpp 中的快速 LoRA

Reddit r/LocalLLaMA ↗ · 2026-10-21

一位开发者为 llama.cpp 分享了自定义的通用与融合 LoRA 内核,在 Strix Halo 上运行 LoRA 适配器时,提示词处理吞吐量从约 300 t/s 恢复到约 1400 t/s,并邀请其他人协助将这些改动推入上游。

0 人收藏 0 人点赞
← Previous
Next →
← 返回首页

提交意见反馈