标签
本文研究在用户轮次之后附加一个分类后缀，是否能改进基于激活探测的 LLM 代理恶意输入检测。研究发现，起作用的是分类这种格式本身，而非具名的恶意/良性判定标准——在留一数据集评估下，这种做法在 13 个基准和三个开放权重模型家族上均持续提升了分布外检测能力。
本文比较了像DPO这样的行为保障措施与表征工程方法在LLM安全中的应用，发现表征工程在特定条件下具有实际优势，并能补充行为方法。
LangSmith 现已集成 Jev，一个 System One 模型，用于快速且经济的代理跟踪在线评估，实现更广泛的评分和安全检查，无需高昂成本。
OpenAI 推出了 Private Safety Processing，一项专注于隐私的服务，用于监控 AI 滥用行为而不保留客户数据，以与 Anthropic 的数据保留策略竞争。
介绍AERIC，一种轻量级隐藏状态监测方法，用于检测LLM对话中的隐式有害内容，无需额外的前向传递，在强基线上实现了AUROC提升，且延迟开销极小。
本文介绍了一种通过分析探针轨迹（即概念概率在生成token上的演变）来监控大型推理模型推理过程的方法。该方法利用隐藏表示中的时间特征和信号处理特征，更好地预测未来模型行为，通过最大池化达到了高达95%的AUROC。