标签
讨论指出 DeepSeek 开源的 DeepInfer 是为 DeepSeek 4.1F 深度定制的推理框架，其 KV cache 极度优化（每 token 仅 890 字节），因此任务调度完全无需考虑显存容量；相比之下 Kimi 系列模型 KV cache 开销高出 15-30 倍，导致推理性能和用户体验不佳。
Colibri 是一个纯 C 编写的本地推理引擎，利用专家路由机制（热数据常驻内存、专家按需从磁盘读取），让仅 8GB 内存的普通电脑即可运行 7440 亿参数的 GLM-5.2 等 MoE 大模型，无需 GPU，并兼容 OpenAI 与 Anthropic 接口。
Cascadia 论文展示了在 11 台 Intel Core Ultra X7 358H AI PC 上对 975B 总参数（41B 激活参数）的 Inkling MoE 模型进行分布式常驻推理，通过自定义 MoE 引擎与 OpenVINO 融合算子，实现了 60.29 的聚合 decode tokens/s 性能。
Nokia Applied Research 开源了 AnyJev 库，可将任意 LLM 转化为 Jev 风格的决策模型，通过旋转预算（rotating budget）和闭式头（closed-form head）拟合实现无微调的概率校准输出，大幅降低 order-flip 率并提升自动决策比例。
本文推广了在PyTorch Conference North America上的一场演讲，专注于使用PyTorch和vLLM使企业智能体推理达到生产就绪状态，涵盖生态系统更新和注册详情。
Nokia Applied Research 已开源 WiSP，这是一个 vLLM 插件，用于在显存不足的 GPU 上运行 MoE 模型，通过智能地对专家进行分页并利用 KV 缓存重新分配内存，实现了高达 2.0 倍的解码吞吐量提升。
Wafer 在 YC 的 AI Office Hours 中延迟表现优于 Cerebras，GLM-5.2 达到 379 毫秒，而 Gemma 4 为 674 毫秒，使得延迟降低 44%，并提升了用户参与度。
Google Cloud 与 Inferact 宣布合作优化 vLLM for TPU，使其成为开放模型生态系统中代理生产服务的一流选择。
Nicolò Lucchesi将在2026年PyTorch北美大会上，介绍与AWS和RedHat合作的关于vLLM中面向混合模型的解耦服务演进的成果。
Nunchux AI 推出了 Modelverse，这是一个多模态生成式AI推理服务，通过单一API提供快速、实惠的访问，支持超过30种图像、视频和化身模型。
Z.ai宣布，其完全在中国AI芯片上运行了GLM-5.3-Flash模型，每个token的成本与Nvidia GPU相当，并使用了一个针对内存受限硬件优化的自定义推理引擎。
Nari Labs详细描述了他们在文本转语音模型中实现低于50毫秒响应时间的方法，强调低延迟、实时多模态推理。
Fireworks AI 出现在热门和增长最快类别中，凸显了自定义模型和拥有 AI 智能技术栈日益增长的重要性，以及 AI SaaS 供应商增长的更广泛趋势。
FreeToken是一个边缘原生服务系统，它将计算和模型状态动态映射到异构本地硬件上，以在个人机器上运行大型开放权重模型，使得在单个GPU上高效执行高达753B参数的模型成为可能。
NVIDIA 展示了在 GB300 NVL72 硬件上运行 Qwen3-8B 2.4T 参数模型的高吞吐量性能，实现每 GPU 超过 4k tokens/s。
Superlinked发布了SIE，一个开源推理引擎，通过一个API提供85+个模型，支持按需加载和LRU逐出，为Agent流水线节省约75%的自托管GPU成本。
一份技术指南，演示如何使用开源工具在单个 GPU 上部署五个专用的小型模型（SLM、OCR、NER、重排序器、目标检测器），涵盖内存管理、批处理以及 Superlinked Inference Engine。
Cloudflare详细介绍了如何利用FP8 KV缓存量化和权重压缩，高效服务Kimi K2.6和GLM 5.2等大型开源MoE模型，在不损失准确性的情况下提升吞吐量并降低成本。
本文比较了无服务器、本地和边缘部署三种 AI 模型部署方式，指出了当前多模型服务中的低效问题。它介绍了 Superlinked Inference Engine (SIE)，一个开源工具，通过动态加载和卸载权重，在单个 GPU 上服务多个模型，旨在降低成本和复杂性。
BentoML是一个开源Python框架，简化了将AI模型打包、提供服务和部署为REST API的过程，支持容器化和多模型编排。