在生产环境中调用LLM API时，最常见的问题是什么？
摘要
讨论生产环境中调用LLM API时常见的错误，包括速率限制、格式不匹配、响应格式错误、上下文溢出、模型弃用以及静默失败，并引用Datadog的统计数据及相关论文。
对于那些在生产环境中调用LLM API的人，哪些错误最让你头疼？根据我的观察，以下五个问题反复出现：
1. 速率限制/提供商宕机。资源已耗尽。根据Datadog的数据，生产环境中的LLM错误中大约60%是速率限制问题。
2. 不同提供商的格式不匹配。例如，本应是max\_completion\_tokens的参数写成了max\_tokens，或者additionalProperties被拒绝。当你需要同时处理三个以上提供商时，问题会更加严重。
3. 响应格式错误。需要回传的思考模式内容，以及损坏的JSON。
4. 上下文溢出。请求过大，被截断或拒绝。
5. 模型弃用。某天你醒来，发现你的模型已经不存在了。
另一个问题是静默失败。响应看起来正常，格式有效，但答案就是错的。根据Rahul Suresh Babu的Arxiv Paper，在没有主动验证的情况下，大约15%的响应存在此类问题。
你是如何处理这些问题的？哪些最让你困扰？你是否构建了相应的处理机制，还是主要依靠重试和碰运气？
相似文章
在与20多个在生产环境中运行LLM的团队交流后，三个痛点反复出现
基于与20多个团队的对话，作者指出了在生产中使用LLM时反复出现的三个痛点：仅企业版提供的基础功能、缺乏代理可观测性、以及新模型支持缓慢。
降低LLM API成本的10种方法
一份实用指南，列出了使用LLM API时降低成本的10种策略，包括模型选择、提示缓存、批处理以及监控费用。
一行系统提示修改将模型质量从84%降至52%。人们在生产环境中如何监控语义质量？
一位开发者分享了他们的经历：一个系统提示的修改导致LLM回答质量下降，却没有触发传统的监控告警，并介绍了他们为监控生产环境中LLM应用的语义质量而构建的内部工具。
多提供商LLM API兼容性笔记：我们尝试的三种方法
工程笔记，比较了将多个LLM提供商（OpenAI、Anthropic、Google）的访问统一到单个内部接口的三种方法，讨论了API标准化、原生SDK使用和网关模式的权衡。
你的LLM提示词有200行。你真的知道智能体遵从了多少吗？
本文讨论了在生产环境中评估和监控基于LLM的智能体所面临的挑战，涵盖离线评估、提示工程陷阱、可观测性工具、审查队列、标注、聚类、主题分类，以及将人工审查、LLM作为评判和小型分类器进行成本分层的方法。