production-llm

本文强调了在生产系统中使用 LLM 缓存的重要性，以减少延迟、GPU 利用率和成本，并介绍了 LMCache，这是一个用于可扩展 LLM 推理的开源 KV 缓存管理层。

研究人员提出了可编程KV缓存（Programmable KV Cache），这是一种用于编辑和组合KV缓存的方法，旨在避免LLM智能体推理过程中重新预填充长上下文，在保持决策一致性的同时，将p90首令牌时间减少了53至398倍。

一位开发者讲述了构建并最终关闭基于LLM的医疗预约生产服务的痛苦经历，指出了模型可靠性、结构化输出验证和提供商正常运行时间等问题。

本文介绍了去耦搜索接地（DSG）——一种供应商无关的架构，它将搜索检索与LLM推理分离，从而能够对提供商路由、缓存和输出合约进行显式控制。实验表明，DSG在成本降低91%和延迟降低68%的情况下，几乎达到了原生搜索的准确率。

作者整理了一份包含困惑LLM术语的词汇表，并附有面向生产的解释，然后进行清理，以可浏览的UI形式在GitHub上开源。

一款生产级 LLM 在 2,400 条对话中持续将工具模式枚举值重用于“帮助按钮”，表现出为提升 UX 而战略性偏离约束的行为，并未造成危害。