标签
Tensward 作者用基于 CUPTI 的探针定位了 llama.cpp 并发部署混合架构模型(如 Qwen3.8-27B)时吞吐低迷的元凶:每次请求后向宿主机内存同步拷贝 643MB 状态快照,禁用上下文检查点后并发吞吐直接翻倍。
tamserve 是一个开源的实时多摄像头目标跟踪服务引擎,让单份 SAM 2 / EdgeTAM 模型同时追踪所有摄像头中的所有目标,显存占用降低约 4 倍、速度提升 11%-24%,且支持按名称跟踪与多 GPU 路由。
AMD Loom 是一个实验性推理栈,包含运行时、内核编译器和服务器,新增了对 Radeon 9700 的支持,并在 48 个大语言模型上进行了基准测试,结果显示,其预填充和解码速度相比 llama.cpp 平均提升了 42%。
vor.tech 展示了一款多人游戏,每位玩家的画面都由本地运行在其 GPU 上的世界模型渲染——本质上就是一个纯神经网络的游戏引擎,可同时支持 10 名玩家。该模型基于 3,958 小时的 CS:GO 全第一人称视角录像连同完整游戏状态进行训练,目前该数据集即将开源。
audio.cpp 0.9.5 在其 WebUI 中新增了一款实时本地虚拟形象语音聊天应用,结合 SoulX-FlashHead、OWSM v4 和 LFM3-Audio,在 RTX 5090 上实现了约 850 毫秒的语音到虚拟形象延迟。
作者用 RTX 5090、4090 和双卡 V100 实测 DeepSeek-V4.1-Flash-1017、Qwen-3.8-Flash-Next、Qwen-3.8-27b 三款本地开源模型,通过 Core-300 盲测与 200K+ 长文本压测对比其与 GPT-5.5、Opus-4.8 等云端模型的实际体感差距。
Openspline 是一个开源的实时数字人头像层,可通过 5 行代码接入现有语音 AI 智能体,在本地 GPU 上生成口型同步的实时视频,RTX4090 上可达 90+ FPS。
一个免费的浏览器端 LLM 成本计算器,让你对比本地 GPU 推理(内置 RTX 4070 Ti Super / 5090 预设)与云端 API 定价,指出缓存输入 token 的费率——这是其他计算器经常靠猜的数字——最能决定本地与云端的交叉点落在哪里。
一位 Reddit 用户发布了 PS5LM 的分支,使 llama.cpp 能在越狱 PS5 上原生运行并利用 GPU 和更多内存,从而在本地运行 Qwen3.8-27B 等大型模型,速度超过每秒 100 个词元。
介绍一种基于768维嵌入空间上的吸收马尔可夫链(Absorbing Markov Chain)的语义分流引擎,通过在60节点领域流形上做随机游走来替代朴素余弦相似度路由,实现<2ms的零token意图分类,从而在唤醒LLM之前完成路由。文中给出JevBench基准测试结果:四层级联系统(Gevva0)在240个条目上达到100%召回、89.17%精度,平均p50延迟46ms,并配备否定/语法、流形邻近OOD和熵与边界三重防护网。
有人在越狱的 PlayStation 5 GPU 上运行 Qwen 27B 大模型,速度约为每秒 20 个 token,展示了在游戏主机硬件上进行本地 LLM 推理的可行性。
strix-llama.cpp 的 rdna35-perf 分支为 Strix Halo(Radeon 8060S)带来新的 RDNA3.5 闪存注意力与 GEMM 内核优化,提示词处理速度比 Vulkan 快 21–54%,在 128k 长上下文下最快可达原版 ROCm 的 2.7 倍,且输出质量与原版 ROCm 基本一致。
zzpanic 分享了他的 vllm-radiance 构建版本的最终修订版,专为单张 AMD R9700 GPU 运行 qwen3.8-27b 进行了优化,新增启动缓存和 KV 卸载功能(显存-系统内存-磁盘),并通过内存精简支持在单张显卡上运行多智能体工作负载。他指出,随着用户迁移到 StillDeadcode 更新的 radiance 推理引擎,该项目正逐步收尾。
Google AI Edge 开源了 ML Drift,一个高性能、跨平台的 GPU 加速 AI/ML 推理引擎,支持 Android、iOS、Web(WebGPU)和服务器端,可高效运行大型生成式模型。
作者开源了其 prompt-to-game 网站 Game Summoner 的完整技术栈(MIT 协议),包含基于多智能体设计文档流程的游戏生成架构、SQL 队列 + 自动扩缩容的 GPU worker 系统,以及本地运行脚本。整个系统可在 5090 等本地 GPU 或 RunPod/AWS 托管 GPU 上部署。
Strata 是一款开源工具,借助 MoE 异构并行技术,可在显存仅 12GB 的游戏 PC 上本地运行 1250 亿参数的 Qwen3.8-Flash-Next 模型,在 NVIDIA RTX 5070 和 AMD RX 9070 XT 显卡上速度可达 60-94 tokens/s 以上。该项目宣称支持在 Windows 和 Linux 上使用 NVIDIA 和 AMD 显卡进行完全本地化的私密推理。
由 LexiPanel 优化的 GGUF 构建版本:一个经过量化和 abliteration 处理的 Qwen3.8-27B CODER 模型变体(采用 IQ4_XS 量化并使用 imatrix),可在单张 24 GB GPU 上运行,并支持 262k 上下文窗口。该模型配备 MTP 头用于推测解码,在 RX 7900 XTX 上的草稿接受率达 85%。
一位用户在 Blackwell MaxQ 显卡上测试了全新的 Ninfer 推理后端,在 qwen3.8-27b-nvfp4 模型上跑出 130-180 t/s 的速度,并发解码时几乎没有减速——他表示并发能力堪比 vLLM,吞吐远超 llama-server,即便是在 Windows 10 上安装之后也是如此。
一项在单张 RTX 3090 上进行的实测基准显示:当 MoE 模型能够放入显存时,llama.cpp 快 2-3 倍,且首个 token 输出明显更快;而当运行超出显存容量的 gpt-oss-120b(63 GB)时,FreeToken 在 32 个并发用户下的首 token 时间(time-to-first-token)快 7 倍。
一篇讲解 LLM 服务调度循环的教学文章,解释推理请求如何经过等待队列、批量构建、prefill、decode 和 continuous batching,使 GPU 在不同请求先后完成时仍保持满载运行。