标签
该论文提出了分层掩码扩散语言模型(HMDLM),将位置级优先级层次结构引入掩码扩散语言模型,在 LM1B 和 WikiHow 上实现了更低的困惑度,并且相较于现有扩散基线模型,提高了数独求解准确率。
本文介绍了一种贝叶斯框架,用于分层LLM代理在推理过程中决定何时升级到更强的模型,将其表述为一个最优停止问题,并提供了性能的理论保证。
提出了交互局部性(interaction locality)这一任务几何感知框架,用于衡量空间推理模型中的信息流是停留在局部单元内还是跨越到全局结构,并将其应用于HRM、TRM和MTU3D模型,在网格基准测试和具身3D定位任务上进行评估。
Yann LeCun预测,在未来12-18个月内,将出现一种训练分层世界模型的通用方法,该方法通过视频和真实世界数据学习,帮助机器人、医疗等领域进行规划,并逐步向通用世界模型扩展。