model-serving

本文介绍了Director，一个分布式MoE服务系统，通过预测驱动的在线主动专家放置来最小化端到端延迟。它采用轻量级预测器和基于松弛法的优化器，对Mistral、DeepSeek和Qwen等模型可实现高达55%的延迟降低。

Hugging Face 发布了 transformers vLLM 建模后端，相比自定义 vLLM 实现能达到原生甚至更快的速度，使模型作者无需移植代码即可自动利用超快推理。

用户询问为什么 DeepSeek v4 Flash（284B 参数）相比于像 Qwen 27B 这样的更小模型运行成本如此之低，质疑这是否源于定价倾销或架构差异。答案可能涉及其 MoE 架构和高效的推理技术。

一条推文列出AI基础设施工程师必备技能，涵盖GPU基础、推理优化、分布式训练及生产部署。

一位用户询问服务GLM-5.2（NVFP4格式）所需的硬件要求，该格式现已被vLLM支持，具有减少的内存占用和保持的准确性。

一套现成的Docker配置，用于在4块RTX PRO 6000 Blackwell GPU上通过vLLM部署GLM-5.2-NVFP4-REAP-469B模型，包含详细说明和配置选项。

本项目将阿里达摩院的ZipEnhancer降噪模型从ModelScope pipeline剥离，用纯PyTorch重写推理逻辑并封装为FastAPI服务，支持FP16半精度和长音频分段处理，提供多种降噪模型切换和API接口。

Luce Spark 是一款开源工具，通过智能地将热门专家缓存到 GPU 上，同时将其他专家保留在系统 RAM 中，从而在 16GB GPU 上运行 35B MoE 模型。它采用校准放置和有限异步缓存，保持高吞吐量，避免了常见的卸载速度断崖。

一份实用指南，解释了如何根据参数量和量化级别计算LLM的VRAM需求，以及KV缓存、激活值和批处理带来的额外开销。

文章指出，同一AI模型在不同的推理栈（如调度、量化、推测解码）下可能表现出不同的行为，尤其是在长会话或智能体工作流中，使得服务方式几乎与模型本身同样重要。

SIE 是一个开源推理引擎，通过单一 API 为代理任务提供超过 100 个 AI 模型的服务，支持按需加载，并与流行框架如 LangChain 和 LlamaIndex 集成。