标签
本文提出通过轻量级MLP探测器分析LLaMA-3.1-8B的激活状态，以高F1分数检测有害提示，为大型外部护栏模型提供了一种经济高效的替代方案。
本文研究了大型语言模型中潜在状态叠加推理的效率，表明累积叠加比前沿叠加能保留更多可用证据，从而优化下游计算的记忆。
本文研究是否可以通过将隐马尔可夫模型拟合到在连续时间窗口上训练的神经网络权重的轨迹，将随时间漂移的数据流划分为离散状态，结果表明恢复出的潜在状态与两个数据集上的迁移性能相关。
World Machine 提出了一种基于 Transformer 的生成式世界建模架构，用于时间序列分析。该架构通过潜在状态自适应地处理不同长度的上下文，解决了传统 Transformer 的二次内存成本问题。在合成数据集上的实验验证了该方法的可行性，并显示出相比传统 Transformer 的改进。