标签
本文重新思考了“状态”这一语言学概念,将其视为跨综合语言的一种系统性形态句法机制,在基于模板的模块化认知框架中将其形式化为语法模板上的集值函数,并提供了一个统一的计算学习理论解释。
本文分析了极限中的语言生成,引入了一个精度概念来研究召回率-精度的权衡。研究表明,当对手隐藏大部分目标语言时,允许无限多个幻觉(频率递减)可以提高召回率。
本文开发了一个傅里叶分析框架,用于研究群不变性下的数据增强,表明部分增强可以在近似误差趋近于零的情况下实现与完全增强相同的极小极大速率,同时还证明了精确不变性需要全群平均。
介绍Fisher宽度,这是统计流形上高斯宽度的黎曼类比,它捕捉局部统计曲率且在重参数化下不变。本文发展了其理论,证明了Fisher-Lipschitz类别的泛化界,并在MNIST上展示了可计算估计量。
本文提出使用成对查询来改进二分类中的选择性分类,特别是在置信度估计不一致的情况下(如大语言模型的上下文学习)。理论条件及在合成和真实数据集上的实验表明,基于成对查询的算法比原始置信度估计能实现更好的准确率-成本权衡。
本文提出了一个统一的理论框架,用于描述深度学习中的相变(grokking、涌现能力)和非平衡化学中的相变,将两者描述为受两个梯度场控制的驱动信息系统。