让AI更像人类一样观察世界

# 教会AI像人类一样观察世界 来源：https://deepmind.google/blog/teaching-ai-to-see-the-world-more-like-we-do/ 2025年11月11日 研究 您的浏览器不支持音频元素。**收听文章** 10分钟 最新研究表明，重新组织模型的视觉表征可以使其更有帮助、更稳健、更可靠 "视觉"人工智能（AI）无处不在。我们用它整理照片、识别未知花卉、驾驶汽车。但这些强大的系统并不总是以我们人类的方式"看"世界，它们有时会表现出令人惊讶的行为。例如，一个能够识别数百种汽车制造商和型号的AI系统，可能仍然无法把握汽车与飞机之间的共性，*即* 两者都是主要由金属制成的大型交通工具。 为了更好地理解这些差异，我们今天在《自然》杂志上发表了一篇新论文（https://www.nature.com/articles/s41586-025-09631-6），分析了AI系统组织视觉世界与人类的重要差异。我们提出了一种更好将这些系统与人类知识对齐的方法，并证明解决这些差异可以提升它们的稳健性和泛化能力。 这项工作是构建更直观、更可信AI系统的一步。 ## 为什么AI在"找不同"任务中表现挣扎 当你看到一只猫时，你的大脑会形成一种心理表征，涵盖关于这只猫的一切信息，从颜色和毛茸茸程度等基本概念，到"猫性"等高级概念。AI视觉模型也会产生表征，通过将图像映射到高维空间中的点，其中相似的物品（如两只羊）被放置在一起，不同的物品（一只羊和一个蛋糕）则被分开。 为了理解人类和模型表征组织方式的差异，我们使用了认知科学中经典的"找不同"任务，让人类和模型从三张给定图片中选出与其他两张不同的一张。这个测试揭示了它们"看到"哪两个物品最为相似。 有时，大家意见一致。给定一只貘、一只羊和一个生日蛋糕，人类和模型都会可靠地选择蛋糕作为不同的那个。其他时候，正确答案并不明确，人和模型就会产生分歧。 有趣的是，我们还发现了许多人类强烈认同某个答案，但AI模型却出错的情况。在下面的第三个例子中，大多数人认为海星是不同类的。但大多数视觉模型更关注背景颜色和纹理等表面特征，反而选择了猫。 三个"找不同"任务的例子。三行展示了自然界中三个主题的图像。第一行展示了一个人类和模型一致认同的简单任务。第二行展示了一个人类和AI模型产生分歧的例子。第三行展示了人类倾向于认同但模型做出不同选择的例子。 这个例子说明了人类与AI之间的系统性错位，我们在许多不同的视觉模型中都观察到了这一现象，从图像分类器到无监督模型。 这个问题可以在AI内部地图的二维投影（PCA）中看到。 下面，左侧展示了一个视觉模型的内部地图，看起来缺乏结构，动物、食物和家具等不同类别的表征都混杂在一起。右侧是应用我们的对齐方法后的改进表征地图，其中类别被清晰有序地组织起来。 两张地图展示了一个视觉模型对许多不同类别物体的表征。对齐前（左图）没有可见的组织结构。对齐后（右图）表征按类别进行了有意义的组织。 ## 多步对齐方法 认知科学家收集了包含数百万人类"找不同"判断的THINGS数据集（https://things-initiative.org/），我们本可以用它来帮助解决视觉对齐问题。遗憾的是，这个数据集仅使用了几千张图像——信息不足以直接微调强大的视觉模型，这些模型会立即在这个小图像集上过拟合，并遗忘许多先前学到的技能。 为解决这一问题，我们提出了一个三步方法： 1. 我们从一个强大的预训练视觉模型（SigLIP-SO400M）开始，在其之上仔细训练一个小型适配器，使用THINGS数据集。通过冻结主模型并仔细正则化适配器训练，我们创建了一个不会遗忘先前训练的教师模型。 2. 这个教师模型随后充当类人类判断的替代，我们用它来生成一个庞大的新数据集，称为AligNet（https://github.com/google-deepmind/alignet?tab=readme-ov-file#alignet-dataset），包含数百万类人类"找不同"决策，使用了一百万张不同的图像——远超我们能从真人那里收集的数量。 3. 最后，我们使用这个新数据集来微调其他AI模型（"学生"模型）。由于我们数据集的多样性，过拟合不再是问题，学生模型可以被充分训练，并更深入地重组它们的内部地图。 如下图所示，学生模型的表征从缺乏结构的混杂状态，转变为清晰有序的组织结构，其中动物（蓝色）和食物（绿色）等高级概念与其他类型的物体被分离开来。 我们的三步模型对齐方法示意图。 人类知识按照不同的相似性层次组织。当我们将模型与人类知识对齐时，模型的表征会根据这些相似性层次发生变化。这种重组遵循认知科学中已知的人类知识层级结构。 在对齐过程中，我们看到表征会根据它们在人类类别层级中的"概念距离"而相互远离或靠近。例如，两只狗（同一从属类别）会变得更加接近（距离减小），而一只猫头鹰和一辆卡车（不同上级类别）则会变得更加远离（距离增大）。 一张折线图展示了人类和AI表征之间相对距离的变化。非常相似类别的表征倾向于更加靠近，而相似度较低的对象对则倾向于更加远离。 我们可以得出结论，我们的方法按照人类概念层级组织了AI学生的表征地图，而无需显式监督。 ## 测试我们对齐后的模型 我们在许多认知科学任务上测试了我们对齐后的模型——包括多排列任务（按相似性排列多张图像）以及我们收集的一个新的"找不同"数据集Levels（https://doi.gin.g-node.org/10.12751/g-node.hg4tdz/）。在每种情况下，我们的对齐模型都显示出显著改善的人类对齐度，在一系列视觉任务中与人类判断的一致性大幅提高。 我们的模型甚至学会了一种"类人类"的不确定性。在测试中，模型决策不确定性与人类做出选择所需的时间高度相关——这是不确定性的一个常用代理指标。 我们还发现，使模型更加与人类对齐也能让它们成为更好的视觉模型。我们的对齐模型在各种挑战性任务中表现更好，例如从单张图像学习新类别（"少样本学习"），或在测试图像类型发生变化时做出可靠决策（"分布偏移"）。 两张柱状图显示，我们的对齐模型（深蓝色）在涉及"找不同"和多排列的认知科学任务（上图）以及涉及少样本学习和分布偏移的AI任务（下图）中均优于原始模型（浅灰色）。 ## 迈向更人类对齐、更可靠的模型 许多现有的视觉模型未能捕捉到人类知识的高级结构。这项研究提出了一种可能的方法来解决这个问题，并证明模型可以更好地与人类判断对齐，在各种标准AI任务上表现更可靠。 虽然更多的对齐工作仍有待完成，但我们的工作展示了迈向更稳健、更可靠AI系统的一步。 了解更多关于我们的工作 ## 致谢 我们要感谢论文的第一作者Lukas Muttenthaler，以及我们的合作者Frieda Born、Bernhard Spitzer、Simon Kornblith、Michael C. Mozer、Klaus-Robert Müller和Thomas Unterthiner。 ### Gemini Robotics：1.5将AI智能体带入物理世界 ### Gemini中的图像编辑功能迎来重大升级