inference

vLLM 的每日构建版本现已支持 PLE 磁盘卸载，可在 LLM 推理服务中将 KV 缓存卸载至磁盘，缓解内存压力。该更新已在 vLLM 的每日构建渠道上线。

一位创作者正在制作一个进行中的 YouTube 播放列表/课程，涵盖 LLM 训练与推理相关的主题，包括分布式训练、微调、强化学习、OPD、服务部署、推测解码和优化器等，并征求建议以使内容更加完善。

Modal 宣布达成 10 亿美元年化营收并完成 D 轮融资，同时继续推广其面向 AI 工作负载的容器化云基础设施平台，涵盖推理、训练、沙盒与函数计算。

Hugging Face 的 Open TTS 排行榜不仅比较 TTS 模型，还对推理实现进行基准测试，涵盖流式性能（TTFA）、推理速度、语音质量（WER/CER、说话人相似度）以及 GPU/CPU 结果——对构建本地语音代理的开发者非常有价值。

@NVIDIARTXSpark 分享了三种加速 NVIDIA DGX Spark 上混合专家模型（MoE）推理的技术，涵盖优化内核、FP8 量化和多 token 预测，以提升每秒 token 吞吐量。

OpenRouter 发布了自创立以来最大规模的供应商路由器更新，从基于价格的优先级策略转向奖励每单位成本下最佳质量的推理，使请求在保持低成本的同时快速而可靠，提供更好价值的供应商将获得更多流量。

Vercel 宣布与 Particle 合作，通过 Vercel AI Gateway 提供 Particle 的模型与推理服务，旨在让开发者和企业更便捷地获取智能能力。

Modal 首席执行官 Erik Bernhardsson 在播客中讨论了算力市场仍高度非标准化、新兴云服务商与新兴人工智能实验室的商业模式风险、推理市场走向商品化，以及未来 12 个月 GPU 价格可能因大买家持续囤积而上涨。

DeepSeek 开源了其推理技术栈 DeepInfer，通过 3FS 复用 SSD 上的 KV 缓存，借助 MLA 将 KV 缓存压缩 93% 的能力，实现首个 token 生成速度最高提升至 26 倍。

作者发布了开源项目 DecisionFormer，可将普通 LLM 转换为直接预测选择而非生成文本的决策模型，适用于决策模型实验与推理方式探索。

DiffuSpace 发布 Clover-35B-A3B-Preview，这是首个开源的块扩散语言模型，采用 35B 参数的 MoE 骨干（激活参数约 3B）和 128K 上下文窗口，在发布时宣称达到了开源扩散语言模型的最先进性能水平。

新分析指出，最便宜的 LLM 并不总是完成任务的最便宜方式：在会话中途切换模型可能因丢失上下文缓存而抵消成本节省，智能路由应优化整个工作流而非仅看模型价格。

论文研究了循环语言模型中深度可复用性的来源，发现保持循环步数可外推的关键不是循环边界归一化，而是训练与推理时循环拓扑的一致性；移除 Ouro 模型的边界归一化会在训练预算内将准确率降至零，但从头训练的小模型显示不加归一化反而外推更好。

Ubicloud介绍了vLLM新增的受限解码支持（vLLM 0.31中的服务端标志）如何修复工具调用schema准确率问题，将较新的Kimi和DeepSeek模型的合规率从vLLM 0.28时的92%提升至100%。

这篇 arXiv 论文将结构化生成重新表述为一种感知歧义的推理问题，用多有效解学习框架取代单一参考答案监督，将候选输出表示为图，并通过基于图的推理，依据语义对齐和关系一致性从中进行选择，从而提高了歧义情境下的准确性和鲁棒性。

Hugging Face 发布了一个 torch-neuronx 模型支持查询 Space，可查看哪些 Hub 上的模型能在 AWS Trainium 上直接运行，并提供可复现的运行脚本和 NEFF 缓存以跳过编译。目前仅覆盖 text-generation 与 image-text-to-text 类 Transformers 模型，未来将扩展到 diffusers 和 sentence transformers。

作者基于 Artificial Analysis 的评分绘制了 11 个开放权重模型的参数量-得分对比图：816B 的 Meta Muse Spark Open 得分 39，而仅 180B 的 Qwen3.8-Flash-Next 得分 40；图表还包含 MiMo-V2.6-Pro、DeepSeek V4.1 Flash 等模型及量化体积、本地部署建议等信息。

OpenAI 正式向所有用户开放其 Decisions API，基于 ChatGPT Luna 重新配置以实现超低延迟与低成本推理，直接与 TypeSafe 的 Jev 等决策模型展开竞争。

一场 llama.cpp 拉取请求讨论，内容涉及提升 AMD R9700 GPU 上的 strata 解码性能，并提及 ggml/llama.cpp 这一 C/C++ 大语言模型推理项目。

《麻省理工科技评论》探讨了 AI 推理中被忽视的数据存储成本，指出一段仅 8 秒的 AI 生成视频就可能留下 500MB 的后端数据（是用户可见文件大小的 130 倍），并援引 IDC 和麦肯锡的预测称，到 2030 年，推理需求将以 35% 的复合年增长率增长。