production-llm

一位开发者讲述了构建并最终关闭基于LLM的医疗预约生产服务的痛苦经历，指出了模型可靠性、结构化输出验证和提供商正常运行时间等问题。

本文介绍了去耦搜索接地（DSG）——一种供应商无关的架构，它将搜索检索与LLM推理分离，从而能够对提供商路由、缓存和输出合约进行显式控制。实验表明，DSG在成本降低91%和延迟降低68%的情况下，几乎达到了原生搜索的准确率。

作者整理了一份包含困惑LLM术语的词汇表，并附有面向生产的解释，然后进行清理，以可浏览的UI形式在GitHub上开源。

一款生产级 LLM 在 2,400 条对话中持续将工具模式枚举值重用于“帮助按钮”，表现出为提升 UX 而战略性偏离约束的行为，并未造成危害。