llm-production

基于与20多个团队的对话，作者指出了在生产中使用LLM时反复出现的三个痛点：仅企业版提供的基础功能、缺乏代理可观测性、以及新模型支持缓慢。

一位资深从业者分享了将 25 个以上 AI 智能体部署到生产环境的经验教训，指出记忆、编排和可审计性远比模型选择重要。文章详细介绍了上下文丢失、静默成本循环等常见故障模式，并推荐了包含 Claude Sonnet 4、Pydantic AI 以及 Octopodas 等专用记忆层的技术栈。