标签
Rgpu 是一个开源工具，可通过 TCP 让 PyTorch 张量和现有 CUDA 程序在远程 NVIDIA GPU 上执行计算，客户端应用保持在本地运行，提供 PyTorch 设备接口和 CUDA shim 两条路径。
一篇深入解析大模型推理并行策略的文章——涵盖数据并行、张量并行、流水线并行、上下文并行以及专家并行，讲解如何将推理任务拆分到多张 GPU 上，同时避免通信开销拖累性能。文章梳理了预填充（prefill）与解码（decode）两个阶段的区别、内存与通信瓶颈，并说明如何结合模型、硬件和工作负载约束，选定一种有说服力的并行布局。
作者重新评估了在 Strata 流式架构下本地运行 Qwen Flash Next 的硬件选择，发现内存带宽与 PCIe 速度对老平台影响巨大，而新平台用双 5070 Ti 即可接近 5090 的性能，性价比路线全面翻转。
Meta 在过去两年中整合了 PyTorch 的媒体处理栈，使 TorchCodec 成为图像、视频和音频的 CPU 与 CUDA 解码/编码的统一入口，而 TorchVision 和 TorchAudio 现在则专注于高性能媒体变换。
帖子指出，Strata 的加速技术彻底重塑了在单机本地运行 Qwen Flash Next 的硬件格局：配备大显存的 NVIDIA 显卡（RTX 3090/4090/5090，甚至像 5060/3060 X2 这样的中端选择）如今明显超越了曾经势均力敌的 Apple Mac M5 系列配置，3090、4090 和 5090 的需求也随之激增。
针对个人AI计算机“Core”发布的评论，指出其显卡单独价值3200美元，并配备了64GB DDR5内存、NVMe存储以及预配置软件。
Gitframes 是一个开源 npm 包，将 Photoshop、After Effects 和 Blender 级别的视频处理能力整合进一个代码优先的单一工具中，通过 WebGPU（Dawn/Metal/Vulkan）直接进行渲染，供 AI 编程智能体使用 TypeScript 组合并导出 MP4。
作者指出 Strata 的热度正持续升温，这是一款开源的本地 LLM 推理引擎，主打量化版 125B Qwen3.8-Flash-Next；同时将其与 antirez 的 ds4（DwarfStar）引擎进行对比，指出两者都支持投机解码、CPU/GPU 协同推理，并可集成 Claude Code 和 Codex 等工具。
SparkTrace LLM 是一个新基准，用 Blackwell GPU 的真实计时结果评估 LLM 阅读 Nsight Compute 性能剖析输出后，能否正确选择最快的 CUDA kernel 重写版本。实验发现包括 GPT 5.4 nano 在内的一些模型会被性能剖析信息误导而选错 kernel。
作者认为Strata革命后，32G以上内存和16G以上中端显卡很可能涨价，并建议用64G RAM + 16G VRAM的配置即可以千元左右的成本运行Strata。引用的帖子显示DDR5价格（尤其是16G和32G）已经明显恶化。
Prime Intellect 今日发布 Prime Inference，提供面向前沿开源模型的低延迟、高可靠的推理服务，涵盖无服务器端点与预留容量，已在 NVIDIA Blackwell GPU 集群上为 GLM-5.3 等模型提供近乎零工具调用错误率和 100% 可用性的生产级部署。
有帖子建议趁价格还没上涨赶紧入手 RTX 5060 Ti，理由是：一块原生 FP4 GPU 搭配 128GB DDR4，大约 1500 美元就能在本地运行最先进的 Qwen 模型——这是普通人入手第一套真正可用的本地 LLM 装备的可行方案。
一位开发者（coffeecup2020）打造了一款名为 tqllm 的自定义推理引擎，在 RTX 3090 上运行 Qwen3-27B（TQ3_4S-v2 量化版本），达到了惊人的每秒 273 个 token——文中将这一速度与人类阅读速度作对比，并指出近期出现了一波轻量级 LLM 推理方案的发布潮，包括在 12GB 显存上运行量化版 Qwen3.8-Flash-Next 的 Strata。
作者分享了一个可以直接粘贴的本地 AI 模型安装脚本，以 Muse 模型为基础开发，但设计上兼容大多数模型，并使用 Hermes 测试了安装过程中的 PC 代理部分。
这篇长文实测用两张二手 V100 32G 跑 Qwen3.8-27B，通过重写推理引擎 NInfer 的内核、加入双卡支持和推测解码，让 20 万 token 代码任务的生成速度从 36 tok/s 提升到约 100 tok/s，跑赢了单张 4090 48G 的 80.9 tok/s，同时分析了显存带宽、量化与 NVLink 对推理性能的影响。
Valve Linux 图形工程师 Timur Kristóf 在 XDC 2026 上介绍了他的工作：将老旧的 AMD GCN 1.0/1.1 GPU 从 Radeon 驱动迁移到现代的 AMDGPU 内核驱动，从而开启 RADV Vulkan 支持、获得更好的性能和改进的电源管理，让这些十年前的显卡焕发新生。
Vx 是一种面向异构计算（CPU、GPU、NPU）的系统编程语言，将设备内存拓扑直接编码进类型系统，并借助 machine 文件与形式化验证，在编译阶段捕获数据搬运与内存相关缺陷。
Gufo 是一款垂直本地推理引擎，专为 AMD Strix Halo（Ryzen AI MAX+ 395 搭配 Radeon 8060S，最高支持 128 GiB 统一内存）优化。现已推出全新的 Windows 预装包，支持 Qwen3.8、DeepSeek V4 Flash、ASR/TTS 以及图像和视频模型，并在高吞吐基准测试中表现出色。
mlsubgen 是一款开源命令行工具，完全在本地机器上为视频生成 45 种语言的字幕，采用基于 CUDA 的语音识别（Qwen3-ASR、Whisper large-v3）以及由 Ollama 托管的 LLM 翻译，并提供硬件配置方案，最低只需 8 GB 显存的 GPU。