更换AI模型很少能修复糟糕的输出。你提供给它的上下文所起的作用比人们意识到的更大。
摘要
一篇反思性文章,认为更换AI模型很少能解决输出质量差的问题;相反,提供给模型的上下文质量才是主要驱动力,涵盖事实、示例和修正。
我注意到一个现象:人们从GPT换成Claude,升级到新版本,尝试更大的模型,但输出几乎没有变化。如果你也遇到过这种情况,问题通常不在于模型本身,而在于你提问之前交给它的内容。我把上下文真正需要提供的要素归结为三点,而大多数令人失望的输出都缺少其中之一,而不是全部:训练数据无法获知的当前事实:你的定价、本季度的数据、客户的真实历史。如果省略这些,模型不会留下空白,而是会悄悄编造出看似合理的内容。一个具体的“好”的示例:不是“专业的语气”,而是一段可以供模型匹配参考的实际段落。描述会被解释,示例会被模仿。任务之前已经发生的事情:你在两条消息前做出的修正。如果你不重述它,它就会消失。模型并不是无视你,它只是不会重新阅读你没有指回的旧消息。反直觉的地方在于:最常见的错误不是提供太少上下文,而是不加筛选地塞入太多内容。模型需要权衡每一个token,无关的材料会与真正重要的内容争夺注意力。当任务只需要三段话时,你给出四十页内容,只会让正确答案更难找到,而不是更容易。我写了一篇更详细的分析,附有一个具体的前后对比示例(同样的任务、同样的模型,只有上下文变了):https://medium.com/@nagatomopedro05/good-ai-starts-with-good-context-design-77496f7b9eb6 很好奇这里是否也有人遇到过这种情况——第一反应是更换模型,而不是修复输入内容。
相似文章
AI生产力最大提升并非来自更好的模型
作者认为,最大的AI生产力提升来自于优化工作流程,而非追求最佳模型。更简单的设置能带来更多产出,并减少上下文切换。
@rohanpaul_ai: 非常重要的工作。模型可能看起来有罪,但实际上,真正的失败往往始于其周围的上下文环境……
这项研究发现,AI代理通常失败是由于糟糕的上下文(指令、工具、证据等)而非模型本身,并提出一个跨七个维度的上下文评分系统,该系统与行为分数无关。从模糊的上下文切换到结构化的上下文,在300次测试中显著提高了代理的性能。
有没有人发现对于AI代理来说,上下文比模型大小更重要?
作者分享了构建AI代理的经验,发现提供清晰的上下文和指导(定义任务、规则和工具)比模型大小更能减少错误并提升性能。
AI工作流程中表现良好却仍可能使流程恶化
本文讨论了在AI工作流程中处理模型错误的重要性,指出在生产环境中,处理AI不确定或错误的情况与任务本身同样关键。
我几个月前就不再比较模型了。我的输出质量反而提升了。
作者分享说,他不再比较AI模型,转而专注于工作流设计,结果输出质量反而提升了。他认为对于大多数实际用例,工作流比模型选择更具杠杆效应。