标签
本文提出使用稀疏自编码器检测Transformer的分布外输入，包括拼写错误和越狱提示，通过分析虚假概念激活。该方法实现了一种基于机制的微调策略，以提高LLM的鲁棒性。
本文认为，当目标分布处于分布外时，基础条件扩散模型在组合生成方面根本失败，原因是分数估计误差，并且推理时的校正无法完全补偿。
本文研究了自动驾驶系统与人类在不同地理位置（利马和纽约市）的视觉问答任务中的表现，发现人类和VLM无论地点如何都表现出相似的性能，但根据问题类型存在差异。
本文认为，针对LLM智能体基准测试的聚合得分排行榜未能捕捉到与部署相关的维度，并且表现出排名不稳定性。文章提出根据预测有效性（即样本内排名与样本外排名之间的相关性）来对配置进行排序，并引入了一个十二层级的测量体系以及可证伪的分布外准则。
本文探讨了语言模型能否独立发现零的概念，作为分布外泛化的一种形式。研究发现，GPT-2大小的模型在测试时无法做到，但通过零的示例训练后会有显著提升，并且语言预训练减少了所需示例的数量。
本文提出了一种非参数多视图高斯过程框架，用于检测机器生成的文本，该框架对诸如释义等对抗性操作具有鲁棒性。通过结合互补特征并提供校准的不确定性，它在保留攻击上优于现有检测器。
ADAPTOOD 是一种新颖框架，利用数据不确定性量化分布偏移的严重程度，并指导心电图时间序列模型在分布外设置下的微调。它将不确定性估计与低秩模型更新和自适应超参数优化相结合，在现有OOD自适应方法基础上实现了高达7%的准确率提升和12.9%的精确度提升。
提出潜在预测反事实解耦（LPCD），通过在潜在层面将稳定的恶意意图与不断演变的叙述策略解耦，解决直播风险评估中的战术性分布外偏移，在大规模工业数据集上取得优越性能。
本文介绍了DOPA，一种演示搜索框架，该框架在目标领域不可访问时，利用分布外代理为大语言模型检索鲁棒的演示，从而增强在分布偏移下的上下文学习性能。
本文提出Staged-Competence，一种基于课程学习的DPO安全对齐框架，它按难度组织偏好数据，显著提升鲁棒性和数据效率，同时保持通用能力。
介绍 GORMPO，一种密度正则化的离线强化学习算法，使用生成式密度建模将策略更新限制在高密度区域，在真实世界医疗数据集上实现17%的提升，并超越最先进的基线模型。
本文提出了强化学习中分布外泛化的首个理论模型，表明更小的抽象状态空间能够在POMDP中实现跨尺度泛化。
本文引入了领域泛化数据集蒸馏（DGDD），这是一个新的问题设定，旨在实现蒸馏数据集的分布外泛化，并提出了频谱梯度手术（SGS），通过利用频谱域中的跨域梯度一致性来解耦类判别信息和领域特定信息。
一位开发者指出，编程代理始终无法帮助他10岁的孩子构建创意模拟器，这揭示了LLM在处理分布外用例方面的不足，并认为关于即将实现AGI的说法被夸大了。
本文提出了一种公平比较基于扩散模型的异常检测器的协议，并提出了规范特征快照（CFS），该算法利用稀疏的内部激活状态实现高效的异常检测。
CPCANet 是一种域泛化框架，利用通用主成分分析（CPCA）来发现结构化的域不变子空间，在零样本迁移任务中达到了最先进的性能。
本文提出 CAP-TTA，一个测试时适应框架，利用由偏差风险分数触发的预调节 LoRA 更新，在叙述生成过程中缓解大语言模型的毒性和偏差问题，实现更快的优化和相比标准基线更好的流畅性。