gpu-performance

标签

Cards List
#gpu-performance

让 B300 上的 cudaMemcpy 加速 5 倍 [P]

Reddit r/MachineLearning ↗ · 5天前

一位开发者发布了开源工具 cudamemcpy-tuner,可将 NVIDIA B300 GPU 上使用可分页内存的 cudaMemcpy 传输速度提升至原来的 5 倍,通过一条 `cmt tune` 命令,即可将 1 GB 数据从 CPU 复制到 GPU 的速度从 10.2 GB/s 提升至 51.5 GB/s。

0 人收藏 0 人点赞
#gpu-performance

今日 Strata 更新大幅提升 Flash Next 中 R9700 用户的性能

Reddit r/LocalLLaMA ↗ · 2026-11-03

Strata 最新更新显著提升了 AMD R9700 用户在 Flash Next 中的推理性能,token 输出大致翻倍,从约 70 tok/s 提升到 140-160 tok/s,但仍落后于 Radiance。用户提到量化限制(Q5 差一点点显存不足以启用 split-engine 模式),并希望未来的更新能进一步缩小差距。

0 人收藏 0 人点赞
#gpu-performance

@jiayq:一篇手工撰写的利用 Agent 舰队优化 LLM 推理的分析。最近关于这个话题有很多新闻——……

X AI KOLs Timeline ↗ · 2026-10-28 缓存

一篇关于利用 Agent 舰队优化 LLM 推理的技术分析,基于 DeepSeek 4.1 Flash 优化达到 2300 tok/s 的经验,指出大部分收益来自配置/计算图而非新 kernel,质疑 megakernel 方法,并强调在自动化优化运行中验证和收敛的重要性。

0 人收藏 0 人点赞
#gpu-performance

Qwen3.8-27B 与 Flash-Next 在消费级硬件上的实测:我能验证的引擎数据,以及按 2026 年内存价格计算的成本

Reddit r/LocalLLaMA ↗ · 2026-10-19

# 在消费级硬件上运行 Qwen3.8-27B 与 Flash-Next 的推理引擎详细对比:经验证的解码/预填充性能数据与每欧元成本分析——两块中端 GPU 的每欧元性价比可超越单块 RTX 5090 达 3–10 倍,而 DDR5 内存在专家模型内存驻留(experts-in-RAM)构建中的成本占比现已达到约 40%

0 人收藏 0 人点赞
#gpu-performance

投机解码为什么快?(4分钟阅读)

TLDR AI ↗ · 2026-10-09 缓存

一篇技术博客深入解释了投机解码为什么快:并非因为总FLOPs减少(实际上反而增加),而是因为它改变了GPU的工作类型——在低批量场景下把原本空闲的算力从内存瓶颈(memory-bound)转为计算瓶颈(compute-bound),用单序列的'深度'换取了批量解码的'广度'。

0 人收藏 0 人点赞
#gpu-performance

@no_stp_on_snek:9070 XT 在 Butter 上运行。@waffuruai。效果还不错,仍有一些细节待优化。Gemma 4 12B https://localmaxxing.com/…

X AI KOLs Following ↗ · 2026-10-05 缓存

用户在 Radeon RX 9070 XT 显卡上对 Gemma 4 12B IT(GGUF)进行了基准测试,通过 localmaxxing.com 测得约 85.3 tokens/秒的速度,认为性能表现不错,但仍有改进空间。

0 人收藏 0 人点赞
#gpu-performance

单张3090上为Qwen3.8 27B实现95+ TPS,支持100K生成与262K上下文

Reddit r/LocalLLaMA ↗ · 2026-09-28

LlamAmpere v0.4发布,包含Ampere特定优化,在单张NVIDIA 3090 GPU上为Qwen3.8-27B模型实现超过95 TPS的速度,并支持262K上下文。

0 人收藏 0 人点赞
#gpu-performance

通过结合查询规划器和推理引擎,在单个GPU上实现每分钟十亿令牌的处理速度(15分钟阅读时间)

TLDR AI ↗ · 2026-09-28 缓存

Modal和Carnegie Mellon University的Full Stack Data Lab开发了Quail,这是一个将查询规划与推理相结合的推理引擎,能够在单个H100 GPU上实现每分钟处理超过十亿令牌,在特定场景中性能超过vLLM的10倍。

0 人收藏 0 人点赞
#gpu-performance

单张 RTX 5090 运行 Qwen3.8:27b 实现 85.6 token/s MTP

Reddit r/LocalLLaMA ↗ · 2026-09-26

在单张 RTX 5090 GPU 上使用 Qwen3.8:27b 模型,达到每秒 85.6 token 的性能。

0 人收藏 0 人点赞
#gpu-performance

@BenjaminDEKR: 这里是我对NVIDIA 5070 Ti GPU(16GB显存)上Qwen-Image-2.1的测试结果 它能运行,并且相当快。大约25秒生成1024²图像…

X AI KOLs Timeline ↗ · 2026-09-20 缓存

在NVIDIA 5070 Ti GPU上对Qwen-Image-2.1的测试表明,它能在16GB显存内运行,生成1024²图像的时间约为25秒,并突出了出色的提示词遵循和排版能力。

0 人收藏 0 人点赞
#gpu-performance

这款草稿模型在16 GB显卡上为Qwen 3.8 27b性能卓越

Reddit r/LocalLLaMA ↗ · 2026-09-12

针对Qwen 3.8 27B的草稿模型在16 GB GPU上非常有效,在RX 9070 XT上可达到约60 token/秒的速度,并提供比内置MTP更好的VRAM效率。

0 人收藏 0 人点赞
#gpu-performance

@superalesha: 你们大多数人可能不知道一个8.4GB的模型在12GB RTX 3080 Ti上能做什么。Qwen3.8-27B制作了这个体素日本宝塔花园……

X AI KOLs Timeline ↗ · 2026-09-02 缓存

展示了Qwen3.8-27B AI模型在12GB RTX 3080 Ti GPU上的性能,使用llama.cpp在特定量化设置下,在128K上下文中达到每秒47个令牌。

0 人收藏 0 人点赞
#gpu-performance

Ninfer 和 RTX 5090 配合 3.8 27B 模型让我喜极而泣,效果太棒了。

Reddit r/LocalLLaMA ↗ · 2026-08-28

一位用户报告称,使用 Ninfer 工具在 NVIDIA RTX 5090 GPU 上运行 Qwen 3.8B 模型时,获得了高令牌吞吐量,显著优于 llama.cpp。

0 人收藏 0 人点赞
#gpu-performance

在 RTX 6000 上对比社区量化 Qwen 3.8 27B 与 Claude Opus 4.6

Reddit r/LocalLLaMA ↗ · 2026-08-26

对 RTX 6000 GPU 上社区量化的 Qwen 3.8 27B 模型与 Claude Opus 4.6 进行基准比较,评估其在创建 HTML 游戏时的 token 生成速度和效率。

0 人收藏 0 人点赞
#gpu-performance

LLM4LLM:通过闭环智能体优化桥接内核基准测试与实际部署

arXiv cs.AI ↗ · 2026-08-25 缓存

LLM4LLM引入了一个部署感知的闭环优化框架,用于桥接内核基准测试和实际LLM推理,在H100 GPU上实现了高达6.98倍的加速。

0 人收藏 0 人点赞
#gpu-performance

我使用8块B300部署了Kimi K3(2.8T参数)。速率92令牌/秒,每百万令牌190美元

Reddit r/LocalLLaMA ↗ · 2026-08-23

本文描述了使用8块B300 GPU托管具有2.8万亿参数的Kimi K3 AI模型,实现了每秒92个令牌,成本为每百万令牌190美元,同时与Unsloth的动态GGUF量化方法进行了比较。

0 人收藏 0 人点赞
#gpu-performance

@Yuchenj_UW: UC Berkeley 开源了 FreeToken。惊人结果:单个 RTX PRO 6000 以 14.9 tok/s 运行 753B GLM-5.2!8GB RTX...

X AI KOLs Following ↗ · 2026-08-21 缓存

UC Berkeley 已开源 FreeToken,这是一个显著加快消费级 GPU 上本地 AI 推理速度的工具,在 8GB RTX 4060 笔记本电脑上实现高达 39.3 tok/s 的性能。

0 人收藏 0 人点赞
#gpu-performance

Qwen3.8 27B 在 SVG 生成上超出了我的预期 :D

Reddit r/LocalLLaMA ↗ · 2026-08-20

一位用户在 SVG 生成任务中测试了 Qwen3.8 27B 模型,并使用了一个复杂提示,发现结果超出了预期,突显了该模型在创造性任务上的能力。

0 人收藏 0 人点赞
#gpu-performance

我将 Qwen3.8-27B 在 RTX 3090 上优化至单请求 99 tps 和批量请求 1150 tps

Reddit r/LocalLLaMA ↗ · 2026-08-17

作者在 RTX 3090 GPU 上优化了 Qwen3.8-27B 模型的推理,通过各种量化和优化技术,实现了单请求高达 99 tps 和批量处理 1150 tps 的性能,并在 GitHub 上发布了更新的代码。

0 人收藏 0 人点赞
#gpu-performance

@akshay_pachaar: 如何判断你的GPU是计算受限还是内存受限?这里有一个简单的解释:你的模型权重位于……

X AI KOLs Following ↗ · 2026-08-16 缓存

本文解释了如何通过分析从HBM获取的每字节操作数来确定GPU工作负载是计算受限还是内存受限,以NVIDIA的H100为例,并讨论了批处理和提示长度如何影响性能。

0 人收藏 0 人点赞
Next →
← 返回首页

提交意见反馈