标签
本文研究了大型语言模型中潜在状态叠加推理的效率,表明累积叠加比前沿叠加能保留更多可用证据,从而优化下游计算的记忆。
一个物理学家团队建造了一种新的干涉仪,通过将原子置于自由落体和静止路径的叠加态,来测量引力如何影响量子波相位,从而解决量子力学与广义相对论兼容性的长期问题。
本文使用因果干预对稀疏自编码器特征进行审计,发现在退化的SAE中最多77%的相关性恢复特征以及良好训练的SAE中9%的特征是因果惰性的。作者引入了sae-causal-audit工具用于可重现评估。
Elhage等人的《叠加的玩具模型》解释了可解释性为何困难:模型通过叠加来用少于特征维度的方式表示更多特征,导致多语义神经元作为压缩手段出现。这篇论文催生了稀疏自编码器的研究计划。
本文引入稀疏自编码器来解决神经网络中的叠加问题,提高潜在空间的可解释性和几何保真度,并提出GW-map实现图像表示与单细胞RNA测序数据之间的跨模态对齐。
关于量子机器学习基础的讲座笔记,涵盖量子比特、叠加态、测量和布洛赫球。
本文为大型语言模型中的特征特定错误纠正提供了首个实证证据,表明残差流激活对小扰动具有鲁棒性,但在候选特征方向上鲁棒性较弱,支持了叠加计算理论。
本文对神经网络中的叠加现象进行了数学分析,推导了具有幂激活函数的简单自编码器的L2重建损失的上下界,验证了Elhage等人的实证结果。
本文确定了Möbius吸引子和级联监督是Transformer中叠加推理出现的关键机制,填补了图可达性任务中梯度下降收敛的理论空白。