标签
本文建立了偏序上上下文学习的理论框架，分析了可识别性、教学成本和表示限制，并基于精确完成三分类进行探讨。
一位研究者提出了一个理论界限，表明基于相似性的AI文本检测器（水印、检索）面临由文本分布碰撞熵决定的假阳性率下限，并请求社区对证明及其与先前工作的联系提供反馈。
本文分析了随机低维重参数化何时能训练神经网络，推导出随机切片残差的取向分辨主公式，并引入RaMaN——一个可扩展框架，能以极低内存成本预测所需潜在维度。
This paper introduces Power Law Graph Attention (PLGA) and the PLDR-LLM architecture, an exact generalization of scaled dot-product attention using input-generated bilinear operators. It presents theoretical results including an inference-collapse theorem, empirical stability measurements, and machine-checked proofs in Lean 4.
本文从理论上分析了连续DAG学习中的支持选择，表明仅靠平滑无环约束无法在可行性之外对支持进行排序，推导了NOTEARS/DAGMA的选择时间，并对320条轨迹进行了经验审计。
This paper introduces Matrix Zonotopic Attention (MZAttn), a context-adaptive value projection for set transformers, and provides a theoretical analysis showing it can represent target operators that standard attention requires depth to approximate. Experiments demonstrate performance gains on high-rank combinatorial set-prediction tasks.
本文进行了理论与实证分析，表明SFT在多任务LLM训练中存在任务冲突，而RL能够实现稳定共存，并提出Parallel-RL范式以实现高效的多任务训练。
本文为普通向量形式的Adam优化器在重尾随机噪声下建立了首个收敛保证，表明其收敛到驻点，但迭代复杂度次优；当已知域半径时，可提升至最优速率。
本文介绍了熵界（Entropic Bound），这是一种针对Transformer的任务内在容量的谱度量，证明了令牌混合算子的内在秩为所需模型容量提供了一个紧的下界。本文表明，虽然从线性注意力到真实注意力的简单迁移会失败，但注意力原生的内在秩能恢复完整的理论结构。
本文首次为有限时域马尔可夫决策过程中的自然策略梯度算法提供了有限时间收敛保证，证明了在不同步长策略下的次线性和线性收敛速度。
本文建立了神经网络得分函数近似与基于得分的扩散模型中分布近似之间的严格定量联系，证明了准确的得分近似可以导致KL散度下紧密的分布近似，并给出了显式界。
本文首次从数学上证明，低秩分解与量化在结合用于LLM压缩时并非正交，会导致性能下降，并提出了一种新颖的对角粘合方法（DAM）来减轻这种损失。
本文研究了对齐和有界安全过滤器能否完全消除大型语言模型中的有害输出，提供了理论论证和实验证据，表明在这些约束条件下，有害输出率会稳定在一个高于零的水平。
本文从理论上证明，在WSD调度中学习率冷却是否有益取决于梯度噪声的结构以及优化器是否对其更新进行归一化，从而解释了为什么冷却对SGD无效但对归一化方法却是必要的。
本文提出了相关性感知的上下文赌博机算法，利用机器学习模型产生的代理奖励信号进行LLM路由，与标准基线相比，实现了更好的精度-成本权衡和样本效率。
本文引入了分析可解的贝叶斯信息受限扩散（BIRD）模型，用于研究扩散模型中的记忆-泛化相变，发现生成过程接近记忆边缘，且信息限制有助于规避维度灾难。
本文证明，深度标量线性网络中的最优学习率缩放本质上依赖于数据，这与先前数据无关的缩放规则相矛盾。它表明，在依赖数据的缩放下，收敛变得与深度无关，包括在无限深度下。
本文认为，神经网络中大量接近零的海森特征值来源于网络参数化中弱破缺的对称性。研究表明，高曲率方向与对称性子空间正交，而大量小特征值则位于该子空间内。
本文为大型语言模型（LLMs）中的上下文搜索开发了采样复杂度理论，表明当反思能够定位早期错误时，上下文搜索相比基础模型产生指数级改进，并在真实推理模型上验证了预测。
本文从理论上刻画了变压器中KV缓存压缩的极小极大风险，为因果掩码下的精确压缩提供了设计原则，并将其实例化到实用算法中，在LongBench上取得了有前景的结果。