更换AI模型很少能修复糟糕的输出。你提供给它的上下文所起的作用比人们意识到的更大。

Reddit r/artificial 新闻

摘要

一篇反思性文章,认为更换AI模型很少能解决输出质量差的问题;相反,提供给模型的上下文质量才是主要驱动力,涵盖事实、示例和修正。

我注意到一个现象:人们从GPT换成Claude,升级到新版本,尝试更大的模型,但输出几乎没有变化。如果你也遇到过这种情况,问题通常不在于模型本身,而在于你提问之前交给它的内容。我把上下文真正需要提供的要素归结为三点,而大多数令人失望的输出都缺少其中之一,而不是全部:训练数据无法获知的当前事实:你的定价、本季度的数据、客户的真实历史。如果省略这些,模型不会留下空白,而是会悄悄编造出看似合理的内容。一个具体的“好”的示例:不是“专业的语气”,而是一段可以供模型匹配参考的实际段落。描述会被解释,示例会被模仿。任务之前已经发生的事情:你在两条消息前做出的修正。如果你不重述它,它就会消失。模型并不是无视你,它只是不会重新阅读你没有指回的旧消息。反直觉的地方在于:最常见的错误不是提供太少上下文,而是不加筛选地塞入太多内容。模型需要权衡每一个token,无关的材料会与真正重要的内容争夺注意力。当任务只需要三段话时,你给出四十页内容,只会让正确答案更难找到,而不是更容易。我写了一篇更详细的分析,附有一个具体的前后对比示例(同样的任务、同样的模型,只有上下文变了):https://medium.com/@nagatomopedro05/good-ai-starts-with-good-context-design-77496f7b9eb6 很好奇这里是否也有人遇到过这种情况——第一反应是更换模型,而不是修复输入内容。
查看原文

相似文章