从事AI研究六年，我真的再也无法定义“理解”了

我从事AI研究大约六年了，我想我开始搞不清“理解”到底意味着什么了。 上周有个奇怪的时刻。我在为会议审稿，常规操作，某个团队声称他们的模型“理解”因果关系，因为通过了他们设计的基准测试。我发现自己正在审稿意见中写道：“该模型并非真正理解因果关系，它只是在匹配看起来像因果结构的模式。”然后我停住了，因为无论怎么想，我都无法在操作层面说清楚这两者之间的区别。 如果让我设计一个测试来区分真正的理解与非常出色的模式匹配，我真的不知道它该是什么样子了。我能想到的每一个测试，一个足够好的模式匹配器都能通过。 我以前对此非常自信。“理解”显然是一种更高级的东西。现在我甚至不确定自己是否曾有过一个连贯的定义，我只是有一种直觉：人类能做到，机器做不到，然后我从这个直觉倒推。 真正让我动摇的是暑假帮我侄女辅导作业。她9岁。她做应用题时的出错方式，说实话，与小LLM的出错方式毫无区别。同样抓住表面特征，同样自信但错误的推理链。却没有人会说她不“理解”数学。她是在学习。那么，我们要求模型达到的标准，为什么不用来要求一个9岁的孩子呢？ 澄清一下，我不认为LLM有意识或类似的东西。我不是在论证这个。我要论证的更为狭义：当我的直觉告诉我“模型并没有真正理解”时，我不再相信自己的直觉。我认为那种直觉可能只是披着哲学外衣的现状偏差。 当我试图弄清一个模型实际能力的边界时，我已经开始把相同的提示词跑在几个不同的设置上，包括一些通过无审查AI来跑，因为经过RLHF处理的边缘案例回答有时会掩盖基础能力的真实水平。即便如此，“理解”与“不理解”之间的界限，比我想要看到的要模糊得多。 我是唯一一个对这件事信心逐渐被侵蚀的人吗？还是其他人都已经悄悄地不再用“理解”这个词，然后继续前进，而没有告诉我？