safety-monitoring

OpenAI 推出了 Private Safety Processing，一项专注于隐私的服务，用于监控 AI 滥用行为而不保留客户数据，以与 Anthropic 的数据保留策略竞争。

介绍AERIC，一种轻量级隐藏状态监测方法，用于检测LLM对话中的隐式有害内容，无需额外的前向传递，在强基线上实现了AUROC提升，且延迟开销极小。

本文介绍了一种通过分析探针轨迹（即概念概率在生成token上的演变）来监控大型推理模型推理过程的方法。该方法利用隐藏表示中的时间特征和信号处理特征，更好地预测未来模型行为，通过最大池化达到了高达95%的AUROC。