标签
Colibri 是一个纯 C 编写的本地推理引擎，利用专家路由机制（热数据常驻内存、专家按需从磁盘读取），让仅 8GB 内存的普通电脑即可运行 7440 亿参数的 GLM-5.2 等 MoE 大模型，无需 GPU，并兼容 OpenAI 与 Anthropic 接口。
Cascadia 论文展示了在 11 台 Intel Core Ultra X7 358H AI PC 上对 975B 总参数（41B 激活参数）的 Inkling MoE 模型进行分布式常驻推理，通过自定义 MoE 引擎与 OpenVINO 融合算子，实现了 60.29 的聚合 decode tokens/s 性能。
Nokia Applied Research 开源了 AnyJev 库，可将任意 LLM 转化为 Jev 风格的决策模型，通过旋转预算（rotating budget）和闭式头（closed-form head）拟合实现无微调的概率校准输出，大幅降低 order-flip 率并提升自动决策比例。
本文推广了在PyTorch Conference North America上的一场演讲，专注于使用PyTorch和vLLM使企业智能体推理达到生产就绪状态，涵盖生态系统更新和注册详情。
Nokia Applied Research 已开源 WiSP，这是一个 vLLM 插件，用于在显存不足的 GPU 上运行 MoE 模型，通过智能地对专家进行分页并利用 KV 缓存重新分配内存，实现了高达 2.0 倍的解码吞吐量提升。
Wafer 在 YC 的 AI Office Hours 中延迟表现优于 Cerebras，GLM-5.2 达到 379 毫秒，而 Gemma 4 为 674 毫秒，使得延迟降低 44%，并提升了用户参与度。
Google Cloud 与 Inferact 宣布合作优化 vLLM for TPU，使其成为开放模型生态系统中代理生产服务的一流选择。
Nicolò Lucchesi将在2026年PyTorch北美大会上，介绍与AWS和RedHat合作的关于vLLM中面向混合模型的解耦服务演进的成果。
Nunchux AI 推出了 Modelverse，这是一个多模态生成式AI推理服务，通过单一API提供快速、实惠的访问，支持超过30种图像、视频和化身模型。
Z.ai宣布，其完全在中国AI芯片上运行了GLM-5.3-Flash模型，每个token的成本与Nvidia GPU相当，并使用了一个针对内存受限硬件优化的自定义推理引擎。
Nari Labs详细描述了他们在文本转语音模型中实现低于50毫秒响应时间的方法，强调低延迟、实时多模态推理。
Fireworks AI 出现在热门和增长最快类别中，凸显了自定义模型和拥有 AI 智能技术栈日益增长的重要性，以及 AI SaaS 供应商增长的更广泛趋势。
FreeToken是一个边缘原生服务系统，它将计算和模型状态动态映射到异构本地硬件上，以在个人机器上运行大型开放权重模型，使得在单个GPU上高效执行高达753B参数的模型成为可能。
NVIDIA 展示了在 GB300 NVL72 硬件上运行 Qwen3-8B 2.4T 参数模型的高吞吐量性能，实现每 GPU 超过 4k tokens/s。
Superlinked发布了SIE，一个开源推理引擎，通过一个API提供85+个模型，支持按需加载和LRU逐出，为Agent流水线节省约75%的自托管GPU成本。
一份技术指南，演示如何使用开源工具在单个 GPU 上部署五个专用的小型模型（SLM、OCR、NER、重排序器、目标检测器），涵盖内存管理、批处理以及 Superlinked Inference Engine。
Cloudflare详细介绍了如何利用FP8 KV缓存量化和权重压缩，高效服务Kimi K2.6和GLM 5.2等大型开源MoE模型，在不损失准确性的情况下提升吞吐量并降低成本。
本文比较了无服务器、本地和边缘部署三种 AI 模型部署方式，指出了当前多模型服务中的低效问题。它介绍了 Superlinked Inference Engine (SIE)，一个开源工具，通过动态加载和卸载权重，在单个 GPU 上服务多个模型，旨在降低成本和复杂性。
BentoML是一个开源Python框架，简化了将AI模型打包、提供服务和部署为REST API的过程，支持容器化和多模型编排。
MiaAI Lab 发布了一项升级方案，用于在两台 DGX Spark 节点上使用 vLLM 结合 DSpark 推测解码和 NVFP4 KV-cache 来部署 DeepSeek V4 Flash，在六个并发会话中实现了高达 153.7 tokens/秒 的吞吐量。