大多数LLM功能在发布时缺乏我们绝不会在常规软件中忽略的工程纪律

Reddit r/ArtificialInteligence 事件
llm-features engineering-discipline evaluation rag agents masterclass production-observability

摘要

文章强调了在发布LLM功能时缺乏工程严谨性，并推广了9月12日的大师课，该课程教授有纪律的评估、测试和生产方法。

提示词被微调，输出在快速检查后看起来没问题，就发布了。没有版本控制，没有回归测试，除了某人的直觉外没有真正的评估。几周后出现问题，但没人能指出是什么改变了或何时改变的，因为一开始就没有真正测量过什么。这是目前大量发布中的LLM功能的常态：凭直觉选择模型，“评估”只是一些手动抽查，检索从未进行过基准测试，成本问题以意外账单的形式出现，而不是在早期就被发现。9月12日有一个实践大师课，围绕将真正的工程严谨性应用于此：提示词作为版本化的代码处理并带有回归测试，评估工具结合确定性检查和LLM作为评判，使用自举置信区间和配对显著性检验进行统计上可靠的模型比较，而不是“感觉更好”，评估具有适当检索指标的RAG，具有防护栏和降级回退的代理，而不是错误累积，以及完整的生产可观测性、追踪、成本、延迟。由Bruno Gonçalves博士领导，他是Data For Science的创始人，之前是NYU's Center for Data Science的数据科学研究员，他在Fortune 500公司培训工程师学习这种精确的学科。更多详情请查看链接。
查看原文

相似文章

LLM的有效用例

Lobsters Hottest

本文分享了LLM在软件工程中的实际应用案例，包括通过RAG搜索客户对话、从日志中排查API故障以及内容精简。重点强调了效率提升和减少手动筛选工作。