linear-regression

本文构造了一个具有线性自注意力的Transformer，该Transformer对简单线性回归执行闭式最小二乘解的上下文学习，利用层归一化来近似解析解，而非梯度下降。

证明了线性回归中近视贝叶斯主动学习贪心算法的紧近似比，并确定了最大初始杠杆分数作为关键量。

本文提出了一种使用block Lewis weights进行组分布鲁棒最小二乘回归的算法，与内点法相比实现了改进的复杂度。它还提供了在平均损失和鲁棒损失之间进行插值的算法。

本文介绍了一种基于快速变换的新型差分隐私草图机制，该机制实现了最先进的隐私保证并改善了运行时间，并将其应用于DP线性回归，从而获得了首个用于DP普通最小二乘法的快速方法。

本文推导了在幂律谱下素描线性回归的批量缩放定律，分析了单次和多次遍历的小批量SGD。它提供了明确的风险分解，展示了批量大小如何影响偏差、方差和波动项，并证明了无放回采样比有放回采样产生更低的噪声。