inference

Particle-1 是一款面向编程智能体、注重 token 效率的模型（在准确率相当的情况下，输出 token 数比 DeepSeek V4.1 Flash 少约 45%），现已在 OpenClaw v2026.10.10 中上线，标准推理采用零数据保留政策。

一个针对 llama.cpp 的拉取请求在 mtmd（多模态）模块中添加了对 Nemotron 3.5 Transcribe 的支持，扩展了该库的音频转录能力。

用户分享了用 Strata 替换 llama.cpp 运行 Qwen 3.8 Flash Next 的体验，解码速度从 70–80 tk/s 提升至 150 tk/s，并顺带测试了 DeepSeek v4.1flash 的 2.25 位量化版本在多 GPU 上的表现。

Olla v0.1.0 推出了一款轻量级开源 Go 代理，将多个本地 LLM 推理运行时（Ollama、vLLM、SGLang、llama.cpp、MLX 等）统一到单一端点，提供模型感知路由、负载均衡、故障转移、会话保持以及兼容 OpenAI/Anthropic 的 API。此次更新新增了对 Hugging Face TEI 的支持，重新设计了仪表板，支持配置重试行为，并改进了模型能力检测。

Revolut 将约 2,000 名工程师迁移至自托管的 GLM 模型进行编程，停用 Claude Code 和 Codex，仅保留例外使用权限——这些模型运行在 56 块英伟达 B200 GPU 上，每百万 token 的综合成本为 0.30 美元（约为此前 Anthropic/OpenAI 支出的十分之一），工程交付周期缩短了 70%。

NVIDIA 发布了 NemotronLabs RE-USE，这是一款拥有 960 万参数的多语言通用语音增强模型，能够在各种音质劣化条件和采样率下恢复语音质量，性能超越规模更大的开源 USE 模型，同时可用于商业用途。

Strata 最新更新显著提升了 AMD R9700 用户在 Flash Next 中的推理性能，token 输出大致翻倍，从约 70 tok/s 提升到 140-160 tok/s，但仍落后于 Radiance。用户提到量化限制（Q5 差一点点显存不足以启用 split-engine 模式），并希望未来的更新能进一步缩小差距。

作者报告 RTX 8000 48GB 的价格已降至约 2100 美元，而 RTX 3090 的价格大致翻了一倍，他认为 RTX 8000 可能现在是家庭实验室（home-lab）环境下将大型本地模型完整跑在显存中的最佳'全能'选择。

一个针对 llama.cpp 的 Pull Request 添加了对 Clover GPU/加速器后端的支持，扩展了该库在 LLM 推理方面的硬件兼容性。

Applied Compute 宣布其年化运行率已突破 1 亿美元，并以 32.5 亿美元估值完成 3.5 亿美元融资，由 Elad Gil 领投；目前 40% 的客户同时使用其平台进行训练和推理。

MiniMax 感谢社区开发者在 10 天内将 M3.1 Flash 开放权重的体积从 252.4 GB 缩减至最低 93 GB，涵盖 GGUF、EXL3 和 MXFP4 等格式的量化版本在消费级和数据中心硬件上均展现出出色的准确率和吞吐量。

AMD 正投入大量工程和算力资源向 vLLM 倾斜，以绕开 NVIDIA 的 CUDA 护城河，推动推理软件标准化、摆脱特定硬件绑定，从而让整个生态受益但双方回报不对称。

作者认为，不断积累的效率提升将推高消费级硬件价格，同时降低数据中心硬件价格，并引用了一份关于产能激增的报告——供应商正以大幅折扣提供训练算力。

作者将 Speedy 与 Avalon 和 Strata 进行了本地运行 Qwen3.8 模型的基准测试，发现 Speedy 速度大幅提升：读取速度快 4 倍，生成速度约为 105-110 tok/s，总墙钟时间比 Avalon 短 26-31%。

一位用户分享了一份详细的搭建指南，介绍如何在较旧的消费级硬件（RTX 3090 Ti、128GB 内存、Threadripper 3990X）上运行 DeepSeek-V4.1-Flash-1017（约 35 tok/s）和 Qwen3.8-Flash-Next（约 130-140 tok/s），内容涵盖通过开源内核模块解锁 NVIDIA 固件降频限制，以及构建 Xolotl 推理引擎。

tandem.cpp 是一套针对 llama.cpp 的补丁，通过将高频使用的专家保留在 GPU 上、其余专家交由 CPU 处理，实现对超出显存容量的 MoE 模型的卸载运行。在单张 RTX 4090 上运行 Qwen3.8-Flash-Next 时，速度达到 97.3 tok/s（是 llama.cpp 的 3.3 倍），对其他 MoE 模型也有性能提升。

WiCi 是一个系统研究实验室，发布了首款无线 eGPU，让设备可通过 Wi-Fi 7 访问附近的 GPU，用于本地 AI 推理和共享计算，同时将模型与数据保留在本地控制之下。

ik_llama.cpp 现已全面支持 PrismML 的 Ternary Bonsai 2，具备原生 CUDA 卸载、无损权重重打包，以及通过 -rtr 1 实现的快速 CPU 提示词处理功能，消除了此前的符号张量瓶颈。该帖子提供了一份配置指南，涵盖 PQ2_0 转换和推荐的命令行参数。

彭博社报道称，AI 推理基础设施公司 Baseten 将融资约 20 亿美元，估值最高达 300 亿美元，较六月估值翻倍以上；据称，其年化收入在 2026 年第一季度从 2 亿美元跃升至 6 亿美元，反映出推理需求的快速增长。

一位律师兼 PLI Labs 创始人公布了完整的基准测试数据：在两台 DGX Spark 上运行 DeepSeek-V4.1-Flash-1017（2.75 bpw EXL3），并由一台搭载 3090 的主机负责通过 RDMA 提供的表以及推测解码草稿模型，在上下文长度高达 256K 时实现超过 2,600 tok/s 的预填充速度，结构化输出速度达到 322 tok/s。所有代码、启动脚本和原始 JSON 均已公开，作者也坦率指出了自己的配置在哪些方面不如其他双 Spark 配置。