看到了那个用玫瑰花瓣讲归纳法的段子在流传。这是古德曼那个古老的“grue”问题的一个变体:你见过的每一颗祖母绿都是绿色的。那规则是“绿色”,还是“grue”——意思是直到某个日期之前是绿色,之后是蓝色?两种规则都符合你的所有观察。没有任何东西

Reddit r/AI_Agents 新闻

摘要

文章讨论了古德曼的“grue”问题如何适用于生产环境中的AI智能体:在历史数据上表现完美并不能保证在未来数据上的正确性,而且更多数据也无法解决这种根本性的歧义。

数据本身无法在两者之间做出选择。我在生产环境中的智能体身上不断遇到这类问题的变体,只是用词更难看。一个在大量历史案例上训练的模型,学到的规则能拟合它见过的每一个例子。它无法知道自己学到的是真正的模式,还是一个恰好匹配训练时间窗口、一旦输入偏移就崩坏的“grue”版本。被忽略的一点是,更多数据并不能解决这个问题。古德曼的核心观点就是,再多的过往观察也无法在逻辑上判定哪个规则是对的。只有当世界越过你训练所用的时间窗口、其中一个规则失效时,你才会知道答案。我曾看到一个智能体干净利落地处理了三个月积压的每个案例,然后在第一周形态略有不同的案例上卡住了。不是训练不足。“对积压数据完美”和“在一般情况下正确”从来就不是同一个主张,它们只是看起来一样,直到不再一样。所以我不再问某个东西在演示中是否有效。我会问这个系统的“grue”案例长什么样,以及是否有什么东西能在它上线之前抓住它。
查看原文

相似文章