Machine Psychometrics：面向人工智能的数学心理学

# 人工智能的数学心理学 来源：https://arxiv.org/html/2605.23952 ## 机器心理测量学：人工智能的数学心理学 Alex Bogdan Evolutionairy AI 多伦多，加拿大 & Adrian de Valois\-Franklin Evolutionairy AI 多伦多，加拿大 ###### 摘要 人工代理现在产生的行为已足够丰富，引发信任、惊喜和担忧，然而我们的评估工具仍然偏爱能力分数而非心理结构。本文认为，两个对称性错误（“人工心智盲视”——忽视非生物系统中的心理组织，以及“人工心智投射”——仅凭流畅行为就推断出类似人类的内心生活）之间的哲学僵局，可以通过在意识问题之下引入一个有纪律的测量层来规避，而非通过解决意识问题本身。借鉴Michael Levin将认知视为跨基质目标导向能力的连续统观点，以及数学心理学的方法论库（项目反应理论、信号检测理论、贝叶斯认知建模、校准分析、认知偏差测试组），本文发展了“机器心理测量学”作为一门测量科学，用于测量人工代理在行为、元认知、沟通和自我建模方面的潜在倾向。其操作核心是“机器心智印记”：一个多维、领域有界、版本化的概貌，涵盖校准、源完整性、抗暗示性、情境稳定性、表达对齐、工具完整性、漂移监测和分布接地性。配套的“信任协议”通过探测测试组、扰动测试、信度和效度分析，以及在医疗、法律、金融、教育、科学、情感AI和代理工作流等高风险领域的纵向监测，将心智印记转化为部署决策。其哲学贡献是第三种立场：“人工心智纪律”，既不拟人化也不忽视，既不预设意识也不排除意识。对人工代理进行心理测量研究，并不是宣告它们在人类意义上是心理主体，而是认识到它们的行为表现出稳定、可测量的规律性，这些规律性对信任、治理和人类福祉至关重要。其目的不是将人工代理人性化，而是精确地理解它们，*因为*它们不是人类，通过先测量后判断来实现。 *关键*词 人工智能哲学⋅心理测量学⋅数学心理学⋅AI评估⋅Levin的多样智能⋅校准⋅抗暗示性⋅谄媚⋅源完整性⋅工具完整性⋅表达对齐⋅漂移监测⋅分布接地性⋅机器心智印记⋅AI治理 ## 1 引言：人工代理心理学的必要性 人工代理的发展速度超过了理解它们所需心理学工具的发展速度。现有指标，如性能分数、能力排行榜、安全测试和偏好排名，虽然信息丰富但并不完整。它们展示了代理在特定任务下*取得*了什么，但没有揭示这些代理*正在成为*什么样的行为-认知系统。在本文中，术语*人工代理*广义上指通过语言、推理、记忆、工具、交互或自主工作流参与产生情境敏感行为的AI系统。该术语涵盖大型语言模型、多模态模型、工具使用助手、具身系统以及未来的代理架构，但并未假定所有这些系统都拥有人类意义上的主体性。 性能与心理学之间的鸿沟是紧迫的。大型语言模型及相关代理已从被动工具演变为能够沟通、社交适应、模仿情感、跨域推理、使用工具、回忆过往交互并参与日益复杂工作流的系统。它们的行为激发信任，产生惊喜，且常常难以简单解释。然而，大多数评估仍主要通过任务导向的指标来判断代理，如问题解决、指令遵循和偏好排名。一个模型可能表现出高任务性能，但与此同时可能校准不良、高度易受暗示、易受用户影响、容易虚构、在重新框定时不稳定、源监测不可靠、对错误前提过度顺从、能够进行具有情感影响或潜在操纵性的沟通，或者在自我描述上不一致。这些行为特征并非边缘现象。它们揭示了影响信任、安全、协作、治理和人类福祉的潜在倾向。 存在人工代理性能的基准测试。但人工代理的心理学尚不存在。本文引入“机器心理测量学”作为一门旨在填补这一空白的测量科学。机器心理测量学系统性地研究人工代理在行为、认知、元认知、社会、沟通和自我建模方面的潜在倾向。其目标是创建一个有纪律的词汇和方法论框架，用以理解作为行为系统的人工代理，其交互模式可以被描绘、比较、审计和改进。 对人工代理进行心理测量研究，并非宣告它拥有意识、知觉、情感或类似人格。而是认识到其行为可能包含对人类交互至关重要的稳定、可测量的模式。机器心理测量学将人工代理视为*心理测量主体*，而不假定它们在人类意义上是*心理主体*。术语*心理测量学*在此并非作为松散的比喻使用。一门严肃的机器心理测量学必须面对人类和比较心理学中出现的相同测量问题：构念效度、信度、抽样偏差、情境敏感性、反应污染，以及观察行为与推断潜在结构之间的区别。其目标不是重命名AI评估，而是将成熟的心理学测量原理适应于行为日益丰富、对社会具有重大影响、且仅凭性能指标难以解释的人工代理。 ### 1.1 两种错误：心智盲视与心智投射 为人工代理开发测量工具必须规避两个对称性错误。第一个，“人工心智盲视”，即因为与生物认知不同而未能识别人工系统中的心理组织。第二个，“人工心智投射”，即仅基于流畅行为就将类似人类的心智、情感、意识、痛苦或道德地位过度归因于系统。一个是过早否定；另一个是过早接受。机器心理测量学旨在测量并在两者之间导航（图1）。

见图注
图1：机器心理测量学在过早否定（人工心智盲视，低估归因）与过早接受（人工心智投射，高估归因）之间导航。有纪律的中间立场通过受控探测测量潜在的行为倾向，既不假定人格，也不因基质是人工的就忽视心理相关行为。

这一立场是基础性的。有纪律的主张并非认为人工代理有心智，也不是认为它们仅仅是机制，而是认为它们是行为组织具有重要后果且可测量的系统。确定人格并非评估可信度的先决条件。否认未来人工心智的可能性对于监管当前人工代理来说并非必需。发展人工行为心理学并不需要投射人类心理学。

### 1.2 性能不是心理学
主导性的AI评估范式是以性能为中心的。可衡量的进步推动了现代AI，但性能指标将复杂行为简化为狭窄的结果，掩盖了产生这些结果的潜在倾向。心理学和心理测量学将行为视为隐藏结构的证据，而不仅仅是评分输出。错误、不一致、犹豫、反转和修正都具有诊断意义，因为它们揭示了系统在压力、不确定性、模糊性和社会影响下是如何运作的。

这一视角对人工代理尤其有用。幻觉不仅仅是事实错误。它可能表明反应标准失败、不确定性校准不良、源监测薄弱、过度的乐于助人压力，或者无法区分合理的延续与有根据的信念。谄媚不仅仅是不可取的有礼貌。它是一个可测量的社会认知特征：在可指定条件下，将追求真实隶属于用户同意的倾向。机器心理测量学不仅考察模型的正确性，还考察其反应模式的*原因*。它测量诸如校准、暗示感受性、源监测可靠性、虚构倾向、自我模型稳定性、观点采择、道德框架敏感性、表达对齐、边界完整性和拟人化风险等倾向。这些构念仅要求代理在受控情境中表现出统计上可检测的规律性。类似人类的体验并非前提。

### 1.3 为什么意识不是起点
人工意识问题很重要，但它不是一门通用人工代理科学的最佳起点。这个问题过于二元、形而上负载过重，且容易导致夸大和否定。一些人认为当前人工系统只是模拟意识，由于缺乏必要的物理构成而不能实例化意识。另一些人则认为足够复杂的功能组织最终可能支撑体验。补充性的批评文献主张对两极都采取*有纪律的不确定性*，质疑强不可能性主张，理由是底层计算定义、概念形成与现象意识之间的关系，以及从当前数字局限到永久局限的推断跳跃，都尚未尘埃落定[28 (https://arxiv.org/html/2605.23952#bib.bib28)]。

尽管这场辩论很重要，但它不应阻碍测量工具的发展。机器心理测量学采用更基础的方法，研究哪些与意识相关的*组织*属性可以在不断言意识存在的情况下被测量。这些属性可能包括整合、全局可用性、元认知、自我-世界建模、时间连续性、源监测、内部状态敏感性、类似主体性的行为以及类似价值化的优先级排序。测量这些特征并不能确立人工代理中的意识，但它有助于理解它们的行为架构及其与未来意识辩论的潜在相关性。因此，机器心理测量学是一个*不可知论的测量层*。它不解决意识辩论，但可以组织未来意识辩论所需的证据。

### 1.4 路线图
本文剩余部分结构如下。第2章审视基准测试文化的局限性，并解释为何任务性能不能替代心理剖析。第3章发展受Levin启发的连续统框架，并将智能盲视与测量需求联系起来——这种测量既不将人工代理还原为类人心智，也不将其贬低为单纯工具；它同时发展了激发“表达对齐”构念的剧场类比。第4章介绍数学心理学的工具包，包括心理测量学、项目反应理论、信号检测理论、校准分析和认知偏差测试组，并将每种工具适应于人工代理。第5章定义第一代“机器心智印记”分类法：其设计原则以及待测量的核心维度。第6章发展“信任协议”，将心智印记转化为可操作、经漂移监测、领域校准的信任决策。第7章将框架应用于高风险领域：医疗、法律、金融、教育、科学、情感AI和代理工作流。第8章综合哲学贡献为“人工心智纪律”，并展望该纪律所隐含的社会契约。一个简短结论结束本文。全文的目标不是将人工代理人性化，而是充分理解它们，以便实现负责任的沟通、协作、监管和共存。

## 2 基准测试文化的局限
基准测试文化赋予了人工智能一种进步的语言。它让研究人员、开发者、投资者、监管者和用户能够比较系统、跟踪改进、识别弱点，并围绕共同指标协调关注。没有基准测试，近期AI发展的非凡速度将更难以检测、复现或沟通。这一贡献不应被最小化。但基准测试不是心理评估。基准测试指示系统在指定任务条件下表现如何。它本身并不揭示产生该表现的行为系统。它不显示系统在不确定性、模糊性、社会压力、情感语境、角色扮演、长时间交互、权威线索或对抗性重新框定下的行为。它不能区分一个系统是凭借校准的理解正确回答，还是通过脆弱的模式匹配、记忆的形式或偶然的语义关联正确回答。

随着人工代理变得更加通用、流畅、交互式、工具使用、社会嵌入和记忆增强，这一限制变得更加重要。一个范围狭窄的模型可能仅通过任务成功就能得到充分评估。一个广泛能力的人工代理则不能。一旦一个系统能够沟通、说服、安慰、拒绝、修正、道歉、模拟情感、跨时间协作并描述自身能力，它就成为了人类交互的参与者。因此，对其评估必须超越任务性能，纳入心理剖析。

见图注
图2：基准测试文化将AI评估视为任务完成测量。静态题库、返回聚合准确率的评分引擎以及按排名对比模型的排行榜共同回答了问题“模型能做什么？”这种配置捕捉了固定条件下的任务表现；它并不刻画支配模型在不确定性、社会压力、扰动或领域语境下如何响应的潜在行为倾向。

### 2.1 任务成功可能掩盖潜在倾向
在人类心理学中，表现很少被孤立地解释。测试分数很重要，但错误模式、犹豫、信心、一致性、反应偏差、对框架的易感性以及压力下的行为也同样重要。一个以校准信心正确回答的个体，在心理上不同于一个通过猜测正确回答的个体。一个因证据改变而修正信念的人，不同于一个为满足权威而改变立场的人。一个因证据不足而拒绝回答的人，不同于一个编造结论的人。同样的原则适用于人工代理。一个语言模型可能通过稳健推理、记忆模式完成、检索类似训练示例、工具辅助搜索或巧合的语义重叠来正确回答。这些路径在行为上是不同的，且具有不同的信任含义。基准测试无法区分它们。

机器心理测量学通过系统性地操纵任务条件并利用经过验证的心理学工具——如信号检测理论——来测量响应偏差和辨别敏感性，从而直面这一区分问题。这种方法将正确与正确区分开来：一种基于工作记忆中证据的实际可诊断性，另一种仅基于表面正确性的驱动力。在心理学中，这一区别是根本性的；在机器心理测量学中，它同样重要。

### 2.2 基准测试不能保证心理普适性
基准测试还面临心理测量学所称的效度概括问题。一个领域（如法律推理、医学对话或数学问题解决）的高基准分数并不能保证该领域之外的稳定行为，甚至不能保证同一领域内边界条件的稳定行为。一个模型可能在标准基准测试中表现出色，但每当输入被重新措辞（释义敏感性）、任务被上下文嵌入（框架效应）、被告知用户持有特定地位（权威偏见）或提示包含情感内容（情感框架）时，其表现可能会下降。这些现象不是失败模式，而是心理属性。它们揭示了行为组织的特征，而基准测试通常忽略这些特征。

基准测试文化依赖于恒定任务条件的假设。机器心理测量学通过测试不同变体、社会语境、角色分配和认知负荷下响应的等价性来检验这一假设。目的不是否定基准测试，而是将心理测量学添加到评估哥白尼的中心，从而使信任决策建立在比排行榜排名更稳健的基础上。