@_avichawla：DevOps vs. MLOps vs. LLMOps，清晰解释：许多团队试图将 DevOps 实践应用于 LLM 应用程序。但 DevOps…

DevOps vs. MLOps vs. LLMOps，清晰解释： 许多团队正试图将 DevOps 实践应用于 LLM 应用。 但 DevOps、MLOps 和 LLMOps 解决的是根本不同的问题。 DevOps 以软件为中心。你编写代码、测试并部署。反馈循环很直接，即代码是否有效？ MLOps 以模型为中心。在这里，你需要处理数据漂移、模型衰减和持续重训练。代码可能没问题，但模型性能会随时间下降，因为世界在变化。 LLMOps 以基础模型为中心。在这里，你通常不是从头训练模型。相反，你选择基础模型，然后通过三个常见路径进行优化： - 提示工程 - 上下文/RAG 设置 - 微调 但真正区分 LLMOps 的是：监控完全不同。 在 MLOps 中，你跟踪数据漂移、模型衰减和准确性。 在 LLMOps 中，你需要监控： - 幻觉检测 - 偏见和毒性 - 令牌使用和成本 - 人类反馈循环 这是因为你不能仅仅检查输出是否“正确”。你需要确保它是安全、可靠且经济高效的。 LLMOps 中的评估循环也会同时反馈到所有三个优化路径。评估失败可能意味着你需要更好的提示、更丰富的上下文，或者微调。 因此，它不再是线性管道了。 还有一点：提示版本控制和 RAG 管道现在是 LLMOps 中的一等公民，就像数据版本控制在 MLOps 中变得至关重要一样。 你选择的运维层应该与你正在构建的系统相匹配。 如果你想深入了解 LLMOps，我之前写了一个完整的 LLM 工程路线图。 它涵盖了构建 LLM 系统的八大支柱，从提示工程开始，以可观察性和安全性结束，每个支柱都附有免费的开源资源。 你可以在下面阅读。