AxiomicLabs 推出的新基准 Tiny Theory of Mind 已登上 Hugging Face Datasets 首页,旨在衡量小型模型的心智理论能力
摘要
AxiomicLabs 在 Hugging Face 上发布了 Tiny Theory of Mind 基准,用于评估小型语言模型的心智理论(Theory of Mind)能力,目前该数据集已登上 Hugging Face Datasets 首页。
查看缓存全文
缓存时间: 2026/10/02 16:51
AxiomicLabs/Tiny_Theory_of_Mind · Hugging Face 上的数据集
来源:https://huggingface.co/datasets/AxiomicLabs/Tiny_Theory_of_Mind
tiny_theory_of_mind_natural_continuation::ignorance::order_1::easy
在一间教室里,老师告诉 Omar 和 Jada:“红门是锁着的。”两名学生都面向老师,听到了整句话并理解了它。之后,“红门是锁着的”这一事实对哪些人来说是未知的:
在一间教室里,老师告诉 Omar 和 Jada:“红门是锁着的。”两名学生都面向老师,听到了整句话并理解了它。之后,“红门是锁着的”这一事实对哪些人来说是未知的:
[ “ 仅 Omar。“, “ 两名学生都知道。”, “ 两名学生都不知道。“, “ 仅 Jada。” ]
tiny_theory_of_mind_2_0_natural_continuation_0000
{ “answer”: “neither student”, “unit”: “text continuation”, “topic”: “ignorance”, “difficulty”: “easy”, “grade_band”: “PreK-K”, “template_id”: “theory_of_mind_continuation”, “format_note”: “Continuation-style prompt for base-model length-normalized log-likelihood scoring; endings include leading spaces.”,...
tiny_theory_of_mind_natural_continuation::mutual_knowledge::order_2::easy
Iris 和 Jon 站在一起,读到一块写着“泳池已关闭”的官方告示。其他可能的状态有:提前开放、正在清洁、人满为患。两人都看到对方在看告示。Iris 知道 Jon 认为
Iris 和 Jon 站在一起,读到一块写着“泳池已关闭”的官方告示。其他可能的状态有:提前开放、正在清洁、人满为患。两人都看到对方在看告示。Iris 知道 Jon 认为
[ “ 泳池正在清洁。“, “ 泳池里挤满了人。”, “ 泳池已经关闭。“, “ 泳池会提前开放。” ]
tiny_theory_of_mind_2_0_natural_continuation_0001
{ “answer”: “the pool is closed”, “unit”: “text continuation”, “topic”: “mutual_knowledge”, “difficulty”: “easy”, “grade_band”: “2-4”, “template_id”: “theory_of_mind_continuation”, “format_note”: “Continuation-style prompt for base-model length-normalized log-likelihood scoring; endings include leading sp...
tiny_theory_of_mind_natural_continuation::knowledge_by_perception::order_1::easy
Arlo 和 Mia 站在一起时,学校的上课铃响了。两个孩子都没有戴护耳装备,都在听这个声音。通过听到铃声,
Arlo 和 Mia 站在一起时,学校的上课铃响了。两个孩子都没有戴护耳装备,都在听这个声音。通过听到铃声,
[ “ 仅 Arlo 知道它响过了。“, “ 两个孩子都不知道它响过了。”, “ 仅 Mia 知道它响过了。“, “ 两个孩子都知道它响过了。” ]
tiny_theory_of_mind_2_0_natural_continuation_0002
{ “answer”: “both children know that it rang”, “unit”: “text continuation”, “topic”: “knowledge_by_perception”, “difficulty”: “easy”, “grade_band”: “K-2”, “template_id”: “theory_of_mind_continuation”, “format_note”: “Continuation-style prompt for base-model length-normalized log-likelihood scoring; ending...
tiny_theory_of_mind_natural_continuation::bluffing::order_1::easy
Lina 在比赛前很紧张,但她放松了面部表情,并告诉 Sam 自己从未像现在这样确信自己会赢。她想让他怀疑自己的优势。Lina 想让自己看起来
Lina 在比赛前很紧张,但她放松了面部表情,并告诉 Sam 自己从未像现在这样确信自己会赢。她想让他怀疑自己的优势。Lina 想让自己看起来
[ “ 自信。“, “ 困倦。”, “ 已经输了。“, “ 很担心。” ]
tiny_theory_of_mind_2_0_natural_continuation_0003
{ “answer”: “confident”, “unit”: “text continuation”, “topic”: “bluffing”, “difficulty”: “easy”, “grade_band”: “K-2”, “template_id”: “theory_of_mind_continuation”, “format_note”: “Continuation-style prompt for base-model length-normalized log-likelihood scoring; endings include leading spaces.”, “settin...
tiny_theory_of_mind_natural_continuation::mistaken_identity::order_2::medium
Sara 戴着一顶蓝色帽子,她的双胞胎姐妹 Tara 戴着一顶红色帽子。Nina 看到了她们,随后离开。趁 Owen 盯着的时候,两姐妹交换了帽子。Nina 回来,把戴蓝色帽子的人当成 Sara 打招呼。可能的身份有 Sara、Tara、Owen 以及两姐妹都不是。Owen 认为 Nina 把戴蓝色帽子的人识别为
Sara 戴着一顶蓝色帽子,她的双胞胎姐妹 Tara 戴着一顶红色帽子。Nina 看到了她们,随后离开。趁 Owen 盯着的时候,两姐妹交换了帽子。Nina 回来,把戴蓝色帽子的人当成 Sara 打招呼。可能的身份有 Sara、Tara、Owen 以及两姐妹都不是。Owen 认为 Nina 把戴蓝色帽子的人识别为
[ “ Sara。“, “ Owen。”, “ Tara。“, “ 两姐妹都不是。” ]
tiny_theory_of_mind_2_0_natural_continuation_0004
{ “answer”: “Sara”, “unit”: “text continuation”, “topic”: “mistaken_identity”, “difficulty”: “medium”, “grade_band”: “2-4”, “template_id”: “theory_of_mind_continuation”, “format_note”: “Continuation-style prompt for base-model length-normalized log-likelihood scoring; endings include leading spaces.”, “...
tiny_theory_of_mind_natural_continuation::first_order_false_belief::order_1::medium
在一处储物区里,收纳篮、墙壁挂钩、书桌抽屉和外套口袋都在附近。Caleb 看到一把黄色钥匙从收纳篮移到了墙壁挂钩上。随后 Caleb 离开了房间。趁他不在时,Priya 把钥匙从挂钩移进了书桌抽屉。没有人告诉 Caleb 关于第二次移动的...
在一处储物区里,收纳篮、墙壁挂钩、书桌抽屉和外套口袋都在附近。Caleb 看到一把黄色钥匙从收纳篮移到了墙壁挂钩上。随后 Caleb 离开了房间。趁他不在时,Priya 把钥匙从挂钩移进了书桌抽屉。没有人告诉 Caleb 关于第二次移动的...
[ “ 墙壁挂钩。“, “ 外套口袋。”, “ 书桌抽屉。“, “ 收纳篮。” ]
tiny_theory_of_mind_2_0_natural_continuation_0005
{ “answer”: “wall-mounted hook”, “unit”: “text continuation”, “topic”: “first_order_false_belief”, “difficulty”: “medium”, “grade_band”: “K-2”, “template_id”: “theory_of_mind_continuation”, “format_note”: “Continuation-style prompt for base-model length-normalized log-likelihood scoring; endings include l...
tiny_theory_of_mind_natural_continuation::bluffing::order_1::easy
Mia 在一场牌局中拿到一副很弱的牌。她告诉 Leo 自己的牌非常好,并且自信地加注,因为她想让他弃牌。可能的判断有:强、弱、缺失、做了标记。Mia 想让 Leo 相信她的牌是
Mia 在一场牌局中拿到一副很弱的牌。她告诉 Leo 自己的牌非常好,并且自信地加注,因为她想让他弃牌。可能的判断有:强、弱、缺失、做了标记。Mia 想让 Leo 相信她的牌是
[ “ 缺失的。“, “ 很弱的。”, “ 很强的。“, “ 做了标记的。” ]
tiny_theory_of_mind_2_0_natural_continuation_0006
{ “answer”: “strong”, “unit”: “text continuation”, “topic”: “bluffing”, “difficulty”: “easy”, “grade_band”: “K-2”, “template_id”: “theory_of_mind_continuation”, “format_note”: “Continuation-style prompt for base-model length-normalized log-likelihood scoring; endings include leading spaces.”, “setting”:...
tiny_theory_of_mind_natural_continuation::communication_failure::order_2::medium
Nora 对 Eli 说:“那扇开着的门是蓝色的。”其他可能的颜色有绿色、红色和黄色。随后 Nora 看到 Eli 走过去向 Sam 重复这条信息,但她离得太远,听不到他说了什么。Eli 实际上把“blue”听成了“green”,于是告诉 Sam 那扇门是绿色的。Nora 不知道他听错了,以为他...
Nora 对 Eli 说:“那扇开着的门是蓝色的。”其他可能的颜色有绿色、红色和黄色。随后 Nora 看到 Eli 走过去向 Sam 重复这条信息,但她离得太远,听不到他说了什么。Eli 实际上把“blue”听成了“green”,于是告诉 Sam 那扇门是绿色的。Nora 不知道他听错了,以为他...
[ “ 说的是绿色。“, “ 说的是蓝色。”, “ 说的是红色。“, “ 说的是黄色。” ]
tiny_theory_of_mind_2_0_natural_continuation_0007
{ “answer”: “blue”, “unit”: “text continuation”, “topic”: “communication_failure”, “difficulty”: “medium”, “grade_band”: “2-4”, “template_id”: “theory_of_mind_continuation”, “format_note”: “Continuation-style prompt for base-model length-normalized log-likelihood scoring; endings include leading spaces.”,...
tiny_theory_of_mind_natural_continuation::mutual_knowledge::order_2::easy
Milo 和 Zara 看着一个球滚到了长椅下面。其他可能的位置还有一棵树、一个箱子和 Milo 的手。他们面对面站着,两人都看到对方的眼睛跟着球移动。Milo 知道 Zara 认为球在
Milo 和 Zara 看着一个球滚到了长椅下面。其他可能的位置还有一棵树、一个箱子和 Milo 的手。他们面对面站着,两人都看到对方的眼睛跟着球移动。Milo 知道 Zara 认为球在
[ “ 长椅下面。“, “ 树后面。”, “ 箱子里面。“, “ Milo 的手里。” ]
tiny_theory_of_mind_2_0_natural_continuation_0008
{ “answer”: “under the bench”, “unit”: “text continuation”, “topic”: “mutual_knowledge”, “difficulty”: “easy”, “grade_band”: “2-4”, “template_id”: “theory_of_mind_continuation”, “format_note”: “Continuation-style prompt for base-model length-normalized log-likelihood scoring; endings include leading space...
tiny_theory_of_mind_natural_continuation::mistaken_identity::order_1::easy
Noah 和 Liam 是双胞胎兄弟。Noah 穿蓝色外套,Liam 穿绿色外套。Ana 从远处看到穿绿色外套的人,并用 Noah 的名字叫他。可能的身份有 Noah、Liam、Ana 以及两人都不是。Ana 把穿绿色外套的人识别为
Noah 和 Liam 是双胞胎兄弟。Noah 穿蓝色外套,Liam 穿绿色外套。Ana 从远处看到穿绿色外套的人,并用 Noah 的名字叫他。可能的身份有 Noah、Liam、Ana 以及两人都不是。Ana 把穿绿色外套的人识别为
[ “ 两人都不是。“, “ Ana。”, “ Noah。“, “ Liam。” ]
tiny_theory_of_mind_2_0_natural_continuation_0009
{ “answer”: “Noah”, “unit”: “text continuation”, “topic”: “mistaken_identity”, “difficulty”: “easy”, “grade_band”: “K-2”, “template_id”: “theory_of_mind_continuation”, “format_note”: “Continuation-style prompt for base-model length-normalized log-likelihood scoring; endings include leading spaces.”, “se...
tiny_theory_of_mind_natural_continuation::belief_revision::order_1::medium
在一处储物区里,Mira 起初以为一把钥匙在抽屉里。Leo 告诉她钥匙在箱子里,但当她打开箱子时,里面是空的。随后 Mira 亲眼看到钥匙放在架子上。在有了这样的直接证据之后,Mira 期望钥匙在
在一处储物区里,Mira 起初以为一把钥匙在抽屉里。Leo 告诉她钥匙在箱子里,但当她打开箱子时,里面是空的。随后 Mira 亲眼看到钥匙放在架子上。在有了这样的直接证据之后,Mira 期望钥匙在
[ “ 抽屉里。“, “ 箱子里。”, “ 架子上。“, “ 口袋里。” ]
tiny_theory_of_mind_2_0_natural_continuation_0010
{ “answer”: “on the shelf”, “unit”: “text continuation”, “topic”: “belief_revision”, “difficulty”: “medium”, “grade_band”: “2-4”, “template_id”: “theory_of_mind_continuation”, “format_note”: “Continuation-style prompt for base-model length-normalized log-likelihood scoring; endings include leading spaces....
tiny_theory_of_mind_natural_continuation::perspective_taking::order_2::medium
一个立方体的一面画着猫,另一面画着太阳。Priya 面向画着猫的一面。Omar 面向画着太阳的一面。Leo 站在一个能看到两人位置的地方。可能看到的画面有:猫、空白的一面、太阳、以及两张图都能看到。Leo 认为 Omar 看到的是
一个立方体的一面画着猫,另一面画着太阳。Priya 面向画着猫的一面。Omar 面向画着太阳的一面。Leo 站在一个能看到两人位置的地方。可能看到的画面有:猫、空白的一面、太阳、以及两张图都能看到。Leo 认为 Omar 看到的是
[ “ 猫的图案。“, “ 太阳的图案。”, “ 一片空白的表面。“, “ 立方体上的两张图。” ]
tiny_theory_of_mind_2_0_natural_continuation_0011
{ “answer”: “the sun picture”, “unit”: “text continuation”, “topic”: “perspective_taking”, “difficulty”: “medium”, “grade_band”: “2-4”, “template_id”: “theory_of_mind_continuation”, “format_note”: “Continuation-style prompt for base-model length-normalized log-likelihood scoring; endings include leading s...
tiny_theory_of_mind_natural_continuation::deception::order_2::medium
Ivy 在 Dan 的注视下把奖品从绿色袋子移到了蓝色袋子。红色袋子和白色的袋子是空的。Ivy 给 Cara 留了一张指向绿色袋子的假纸条。Cara 读了纸条并相信了它。Dan 知道纸条是假的。Dan 期望 Cara 会去哪个袋子里寻找:
Ivy 在 Dan 的注视下把奖品从绿色袋子移到了蓝色袋子。红色袋子和白色的袋子是空的。Ivy 给 Cara 留了一张指向绿色袋子的假纸条。Cara 读了纸条并相信了它。Dan 知道纸条是假的。Dan 期望 Cara 会去哪个袋子里寻找:
[ “ 红色袋子。“, “ 白色袋子。”, “ 蓝色袋子。“, “ 绿色袋子。” ]
tiny_theory_of_mind_2_0_natural_continuation_0012
{ “answer”: “the green bag”, “unit”: “text continuation”, “topic”: “deception”, “difficulty”: “medium”, “grade_band”: “2-4”, “template_id”: “theory_of_mind_continuation”, “format_note”: “Continuation-style prompt for base-model length-normalized log-likelihood scoring; endings include leading spaces.”, ...
tiny_theory_of_mind_natural_continuation::second_order_false_belief::order_2::medium
在一个游戏室里,绿色、蓝色、红色和白色的袋子放在地上。Cara 和 Dan 都看到一个奖品从绿色袋子移到了蓝色袋子。随后 Cara 离开了。趁她不在时,Ivy 又把奖品从蓝色袋子移到了红色袋子。一张告诉 Cara 关于第二次移动的纸条其实送到了她手里,但 Dan 认为那...
在一个游戏室里,绿色、蓝色、红色和白色的袋子放在地上。Cara 和 Dan 都看到一个奖品从绿色袋子移到了蓝色袋子。随后 Cara 离开了。趁她不在时,Ivy 又把奖品从蓝色袋子移到了红色袋子。一张告诉 Cara 关于第二次移动的纸条其实送到了她手里,但 Dan 认为那...
[ “ 绿色袋子。“, “ 红色袋子。”, “ 白色袋子。“, “ 蓝色袋子。” ]
tiny_theory_of_mind_2_0_natural_continuation_0013
{ “answer”: “blue bag”, “unit”: “text continuation”, “topic”: “second_order_false_belief”, “difficulty”: “medium”, “grade_band”: “2-4”, “template_id”: “theory_of_mind_continuation”, “format_note”: “Continuation-style prompt for base-model length-normalized log-likelihood scoring; endings include leading s...
tiny_theory_of_mind_natural_continuation::knowledge_by_perception::order_1::medium
在学校的操场上,Ravi 看到一面黄色的旗帜升起,但铃声响时他正捂着耳朵。Cora 站在一堵墙后面,所以她听到了铃声却看不到旗帜。Mina 看到了旗帜升起,也听到了铃声。随后人们问 Ravi、Cora 和 Mina 他们各自直接感知到了什么。同时拥有这两条信息的孩子是...
在学校的操场上,Ravi 看到一面黄色的旗帜升起,但铃声响时他正捂着耳朵。Cora 站在一堵墙后面,所以她听到了铃声却看不到旗帜。Mina 看到了旗帜升起,也听到了铃声。随后人们问 Ravi、Cora 和 Mina 他们各自直接感知到了什么。同时拥有这两条信息的孩子是...
[ “ Ravi。“, “ Cora。”, “ Mina。“, “ 三个孩子都是。” ]
tiny_theory_of_mind_2_0_natural_continuation_0014
{ “answer”: “Mina”, “unit”: “text continuation”, “topic”: “knowledge_by_perception”, “dif
相似文章
@svpino:小巧、专业且开源的模型才是未来!TwiL-LM 模型系列现已在 HuggingFace 上发布,供 Tra…
TwiL-LM 是一系列小巧的专用开源模型,现已发布在 HuggingFace 上。其中 3B 版本在形式推理基准测试上优于 OpenAI 的 120B gpt-oss 模型,并且能在消费级硬件上高效运行。
OmniToM: 通过显式信念建模对大语言模型的心智理论进行基准测试
OmniToM 引入了一个基准测试,通过要求显式提取和标注信念结构来评估大语言模型的心智理论,揭示了尽管模型在端点问答任务上表现强劲,但在跟踪角色特定信念方面存在瓶颈。
人类认知与行为的小型基础模型
本文在Psych-101数据集上训练了14个小语言模型(参数规模从1.35亿到140亿),该数据集包含来自160个实验的1070万次逐试次人类选择。研究发现,小型模型足以匹配分布内数据,而大型模型在分布外泛化方面表现更好。诊断结果表明,遮蔽刺激和反馈会破坏大部分已学信息,表明仅凭选择历史是不够的。
心智理论提升是否真的有益于人机交互?来自交互评估的实证发现
本文针对大语言模型的心智理论能力提出了一种新的交互评估范式,发现静态基准测试上的提升并不能转化为动态人机交互中的更好表现,凸显了基于交互评估的必要性。
HuggingFace 基准数据集现在支持按模型大小筛选
HuggingFace 基准数据集现在支持按模型大小筛选,从而可以进行类似 'swebenchverified 上 32B 以下最佳模型' 的比较。