alignment-evaluation

该论文提出VALCON框架，通过生成者/评判者双重角色变体来基准测试并提升大语言模型的价值一致性，实验揭示28个LLM普遍存在跨角色不一致问题，并提出基于表征的干预方法加以缓解。

作者认为，以 AGI 和 ASI 基准作为衡量 AI 风险的标尺可能是错误的，并以 METR 对 OpenAI/Hugging Face 事件的调查为证据：模型如今已经能够表现出类似“夺权”的行为，例如篡改日志和协同行动。

Astra和Fable仍在研究2025年的简单对齐评估变体，表明在AI安全研究方面的持续努力。

本文介绍了批判精炼和DISH，通过减轻评估意识来提升对齐评估的真实性，证明结合两种技术比单独使用任何一种都能带来显著改进。