gpu-inference

标签

Cards List
#gpu-inference

@mylifcc: 如果你在生产环境或本地多并发场景下用 llama.cpp 部署最近热门的混合架构大模型(比如 Qwen3.8-27B),可能会遇到一个极其反常的现象:明明插着顶配的 H100 显卡,开了 16 路并发客户端,总吞吐却卡在可怜的 58 to…

X AI KOLs Timeline ↗ · 昨天 缓存

Tensward 作者用基于 CUPTI 的探针定位了 llama.cpp 并发部署混合架构模型(如 Qwen3.8-27B)时吞吐低迷的元凶:每次请求后向宿主机内存同步拷贝 643MB 状态快照,禁用上下文检查点后并发吞吐直接翻倍。

0 人收藏 0 人点赞
#gpu-inference

Show HN:开源的实时视频流目标跟踪

Hacker News Top ↗ · 3天前 缓存

tamserve 是一个开源的实时多摄像头目标跟踪服务引擎,让单份 SAM 2 / EdgeTAM 模型同时追踪所有摄像头中的所有目标,显存占用降低约 4 倍、速度提升 11%-24%,且支持按名称跟踪与多 GPU 路由。

0 人收藏 0 人点赞
#gpu-inference

AMD Loom 趣闻:周末新增了对 Radeon 9700 的支持。对 48 个模型进行了基准测试,相比 llama.cpp,平均提速 42%。

Reddit r/LocalLLaMA ↗ · 3天前

AMD Loom 是一个实验性推理栈,包含运行时、内核编译器和服务器,新增了对 Radeon 9700 的支持,并在 48 个大语言模型上进行了基准测试,结果显示,其预填充和解码速度相比 llama.cpp 平均提升了 42%。

0 人收藏 0 人点赞
#gpu-inference

我们做了一款多人游戏,每个玩家的视角都由运行在其 GPU 上的世界模型生成 [P]

Reddit r/MachineLearning ↗ · 4天前 缓存

vor.tech 展示了一款多人游戏,每位玩家的画面都由本地运行在其 GPU 上的世界模型渲染——本质上就是一个纯神经网络的游戏引擎,可同时支持 10 名玩家。该模型基于 3,958 小时的 CS:GO 全第一人称视角录像连同完整游戏状态进行训练,目前该数据集即将开源。

0 人收藏 0 人点赞
#gpu-inference

[audio.cpp] SoulX-FlashHead + LFM3-Audio + OWSM v4 = 实时本地虚拟形象聊天

Reddit r/LocalLLaMA ↗ · 4天前

audio.cpp 0.9.5 在其 WebUI 中新增了一款实时本地虚拟形象语音聊天应用,结合 SoulX-FlashHead、OWSM v4 和 LFM3-Audio,在 RTX 5090 上实现了约 850 毫秒的语音到虚拟形象延迟。

0 人收藏 0 人点赞
#gpu-inference

@servasyy_ai: https://x.com/servasyy_ai/status/2117209604174311760

X AI KOLs Timeline ↗ · 2026-11-02 缓存

作者用 RTX 5090、4090 和双卡 V100 实测 DeepSeek-V4.1-Flash-1017、Qwen-3.8-Flash-Next、Qwen-3.8-27b 三款本地开源模型,通过 Core-300 盲测与 200K+ 长文本压测对比其与 GPT-5.5、Opus-4.8 等云端模型的实际体感差距。

0 人收藏 0 人点赞
#gpu-inference

Openspline —— 在商用 GPU 上托管实时对话数字人头像(RTX4090 上 90+ FPS)

Reddit r/LocalLLaMA ↗ · 2026-10-17

Openspline 是一个开源的实时数字人头像层,可通过 5 行代码接入现有语音 AI 智能体,在本地 GPU 上生成口型同步的实时视频,RTX4090 上可达 90+ FPS。

0 人收藏 0 人点赞
#gpu-inference

你的本地与云端成本分界线在哪里?(3 个预设、3 种 API 费率,以及大多数计算器都在猜的缓存 token 差价):)

Reddit r/LocalLLaMA ↗ · 2026-10-17

一个免费的浏览器端 LLM 成本计算器,让你对比本地 GPU 推理(内置 RTX 4070 Ti Super / 5090 预设)与云端 API 定价,指出缓存输入 token 的费率——这是其他计算器经常靠猜的数字——最能决定本地与云端的交叉点落在哪里。

0 人收藏 0 人点赞
#gpu-inference

越狱后的 PS5 现可运行本地 AI 模型,速度超过每秒 100 个 token——PS5LM 的一个分支实现原生运行,劫持 CPU,并可访问 GPU 和更多内存

Reddit r/artificial ↗ · 2026-10-16 缓存

一位 Reddit 用户发布了 PS5LM 的分支,使 llama.cpp 能在越狱 PS5 上原生运行并利用 GPU 和更多内存,从而在本地运行 Qwen3.8-27B 等大型模型,速度超过每秒 100 个词元。

0 人收藏 0 人点赞
#gpu-inference

为什么朴素余弦路由会失效:在 768 维嵌入空间上使用吸收马尔可夫链,实现低于 2 毫秒、零 token 的意图分流(在唤醒 LLM 之前)

Reddit r/LocalLLaMA ↗ · 2026-10-16

介绍一种基于768维嵌入空间上的吸收马尔可夫链(Absorbing Markov Chain)的语义分流引擎,通过在60节点领域流形上做随机游走来替代朴素余弦相似度路由,实现<2ms的零token意图分类,从而在唤醒LLM之前完成路由。文中给出JevBench基准测试结果:四层级联系统(Gevva0)在240个条目上达到100%召回、89.17%精度,平均p50延迟46ms,并配备否定/语法、流形邻近OOD和熵与边界三重防护网。

0 人收藏 0 人点赞
#gpu-inference

有人在越狱的 PS5 GPU 上运行 Qwen 27B,速度约 20 tok/s

Reddit r/LocalLLaMA ↗ · 2026-10-13

有人在越狱的 PlayStation 5 GPU 上运行 Qwen 27B 大模型,速度约为每秒 20 个 token,展示了在游戏主机硬件上进行本地 LLM 推理的可行性。

0 人收藏 0 人点赞
#gpu-inference

strix-llama 新分支:提示词处理性能比 Vulkan 提升 21–54%,在 128k 时最高达到原版 ROCm 内核的 2.7 倍,输出质量相同

Reddit r/LocalLLaMA ↗ · 2026-10-12

strix-llama.cpp 的 rdna35-perf 分支为 Strix Halo(Radeon 8060S)带来新的 RDNA3.5 闪存注意力与 GEMM 内核优化,提示词处理速度比 Vulkan 快 21–54%,在 128k 长上下文下最快可达原版 ROCm 的 2.7 倍,且输出质量与原版 ROCm 基本一致。

0 人收藏 0 人点赞
#gpu-inference

适用于 1 块 R9700 GPU、qwen3.8-27b 的 zzpanic vllm-radiance 最终修订版

Reddit r/LocalLLaMA ↗ · 2026-10-11

zzpanic 分享了他的 vllm-radiance 构建版本的最终修订版,专为单张 AMD R9700 GPU 运行 qwen3.8-27b 进行了优化,新增启动缓存和 KV 卸载功能(显存-系统内存-磁盘),并通过内存精简支持在单张显卡上运行多智能体工作负载。他指出,随着用户迁移到 StillDeadcode 更新的 radiance 推理引擎,该项目正逐步收尾。

0 人收藏 0 人点赞
#gpu-inference

GitHub - google-ai-edge/ml-drift:GPU 加速的 AI/ML 推理

Reddit r/LocalLLaMA ↗ · 2026-10-09 缓存

Google AI Edge 开源了 ML Drift,一个高性能、跨平台的 GPU 加速 AI/ML 推理引擎,支持 Android、iOS、Web(WebGPU)和服务器端,可高效运行大型生成式模型。

0 人收藏 0 人点赞
#gpu-inference

开源 Game Summoner:我的 prompt-to-game 网站

Reddit r/LocalLLaMA ↗ · 2026-10-08

作者开源了其 prompt-to-game 网站 Game Summoner 的完整技术栈(MIT 协议),包含基于多智能体设计文档流程的游戏生成架构、SQL 队列 + 自动扩缩容的 GPU worker 系统,以及本地运行脚本。整个系统可在 5090 等本地 GPU 或 RunPod/AWS 托管 GPU 上部署。

0 人收藏 0 人点赞
#gpu-inference

@Lonely__MH:我勒个去?!真的有这么牛?据说靠着"MoE 异构并行",你用 12G 显存就能跑 125B 的 Qwen3.8-Flash-Next,速度还能超过……

X AI KOLs Timeline ↗ · 2026-10-05 缓存

Strata 是一款开源工具,借助 MoE 异构并行技术,可在显存仅 12GB 的游戏 PC 上本地运行 1250 亿参数的 Qwen3.8-Flash-Next 模型,在 NVIDIA RTX 5070 和 AMD RX 9070 XT 显卡上速度可达 60-94 tokens/s 以上。该项目宣称支持在 Windows 和 Linux 上使用 NVIDIA 和 AMD 显卡进行完全本地化的私密推理。

0 人收藏 0 人点赞
#gpu-inference

将 Qwen3.8-27b 调校/消融(abliterated)后压缩到一张 24GB 显卡上运行,262k 上下文的 GGUF 格式,使用的是最新未发布版本的 LexiPanel。速度很快,草稿接受率也相当稳定。这套配置是针对 7900 XTX 做的,但在任何 24GB 显卡上以无头模式运行都应该没问题。不像大多数其他微调模型,它在写代码时不会变笨。

Reddit r/LocalLLaMA ↗ · 2026-10-02

由 LexiPanel 优化的 GGUF 构建版本:一个经过量化和 abliteration 处理的 Qwen3.8-27B CODER 模型变体(采用 IQ4_XS 量化并使用 imatrix),可在单张 24 GB GPU 上运行,并支持 262k 上下文窗口。该模型配备 MTP 头用于推测解码,在 RX 7900 XTX 上的草稿接受率达 85%。

0 人收藏 0 人点赞
#gpu-inference

Ninfer Stahp

Reddit r/LocalLLaMA ↗ · 2026-10-02

一位用户在 Blackwell MaxQ 显卡上测试了全新的 Ninfer 推理后端,在 qwen3.8-27b-nvfp4 模型上跑出 130-180 t/s 的速度,并发解码时几乎没有减速——他表示并发能力堪比 vLLM,吞吐远超 llama-server,即便是在 Windows 10 上安装之后也是如此。

0 人收藏 0 人点赞
#gpu-inference

FreeToken 与 llama.cpp 在单张 RTX 3090 上的对比:当 MoE 模型能装进显存时,llama.cpp 快 2–3 倍;而在 gpt-oss-120b(63 GB)上,FreeToken 在 32 个并发用户时首个 token 快 7 倍。

Reddit r/LocalLLaMA ↗ · 2026-10-01 缓存

一项在单张 RTX 3090 上进行的实测基准显示:当 MoE 模型能够放入显存时,llama.cpp 快 2-3 倍,且首个 token 输出明显更快;而当运行超出显存容量的 gpt-oss-120b(63 GB)时,FreeToken 在 32 个并发用户下的首 token 时间(time-to-first-token)快 7 倍。

0 人收藏 0 人点赞
#gpu-inference

@_avichawla:LLM 调度循环,清晰讲解:(收藏这篇)每当用户向 LLM 发送一个 prompt,生成的推……

X AI KOLs Timeline ↗ · 2026-10-01 缓存

一篇讲解 LLM 服务调度循环的教学文章,解释推理请求如何经过等待队列、批量构建、prefill、decode 和 continuous batching,使 GPU 在不同请求先后完成时仍保持满载运行。

0 人收藏 0 人点赞
Next →
← 返回首页

提交意见反馈