标签
本文介绍了残差上下文扩散（RCD）模块，该模块通过回收扩散语言模型中丢弃的令牌表示来提高效率和准确性，在具有挑战性的推理任务上实现了5–10%的准确性提升，并将去噪步骤减少了多达4–5倍。
Apple Research 推出了 Weblica，这是一个利用 HTTP 缓存和基于大语言模型（LLM）的合成技术，为视觉 Web 智能体创建可扩展且可复现训练环境的框架。
本文介绍了苹果公司提出的标注员策略模型（APMs），该模型利用可解释性技术，无需额外标注努力即可从标注行为中推断标注员内部的安全策略。作者证明，APMs 能够准确地建模这些策略，并区分标注分歧的来源，例如操作失误、策略模糊性和价值观多元性。
本文介绍了 TIDE，一种通过嵌入记忆（Embedding Memory）将令牌身份注入每一层，从而解决大语言模型（LLM）中罕见令牌问题和上下文崩溃问题的方法。作者在理论上和经验上证明了该方法在语言建模和下游任务中的改进。