Astra 在 Blueprint-bench2 上获得最高分
摘要
Astra 在 Blueprint-Bench 2 上获得最高分,这是一个测试 AI 智能体使用空间推理和跨公寓学习将公寓照片转换为精确 2D 平面图能力的基准测试。
>>Blueprint-Bench 2 通过要求 AI 智能体将公寓照片转换为精确的 2D 平面图来测试空间推理能力。每个智能体按顺序处理 50 间公寓,检查每间公寓约 20 张室内照片,并生成显示房间布局、连接和相对大小的平面图。智能体使用持久的笔记本在不同公寓之间传递洞察,从而实现跨公寓学习和迭代策略优化。
相似文章
Astra 在 IKEA 家具组装中领先
Epoch AI 创建了家具组装基准(FAB),用于测试 AI 模型在 IKEA 组装照片中识别错误的视觉推理能力。OpenAI 的 GPT-6 Astra 以 80% 的准确率领先,显示出比以往模型的大幅改进。
@BenjaminDEKR:Astra 对空间 / 3D 关系的理解优于其他主流模型,这也是它如此擅长 CAD、建模等任务的原因……
据称,Astra 在空间与 3D 理解方面超越了其他主流模型,在 VoxelBench 基准测试中排名第一,Elo 评分超过 2600 分,领先优势达 300 分以上。
OpenAI的Astra在同一基准测试中分别取得了62.7%和99.9%的成绩,但我仍然不确定哪个结果更值得信赖
本文探讨了OpenAI的Astra模型在ARC Prize基准测试中的分数不一致性,强调了不同测试框架的差异以及OpenAI发布页面的更改,引发了对评估准确性的担忧。
Astra不仅在ARC-AGI-3上达到饱和,而且使用的操作比普通人类更少
GPT-6 Astra在ARC-AGI-3基准测试中取得了最先进的分数,使用Provider Adapter接口得到99.9%的分数,并展示了比人类测试员更少的动作。该模型展示了将不熟悉的环境转换为紧凑符号世界模型以实现高效规划的能力。
@reach_vb: Astra 在 MazeBench 上以巨大优势达到最先进水平:
Astra 在 MazeBench 上取得了最先进的性能,在3D开放世界空间推理评估中显著超越了 GPT-6。