标签
Meta首席AI官Alexandr Wang表示，AI对齐仍是科学上最开放的问题之一，没人知道确切的解决方法。他提出的方案是“可扩展监督”，即用更聪明的AI来监督其他AI，Meta的Muse已在使用类似机制。
该论文提出了一种用于可扩展监督中AI辩论的新型实例最优协议。它保证了最坏情况下的正确性，使诚实成为占优策略均衡，并证明了黑盒下界，表明在具有稳定分解的问题上，没有任何协议能够超越它。
本文研究在「工人-监控器」监督架构中，将监控器与对抗性 AI 工人进行协同训练，以防止监控器被规避。作者通过 Littlestone 维度证明了一种监督刻画，并提出了测试时蒸馏的自监督方法，同时进行了代码安全压力测试。
本论文提出战略互动监督（SIO），探讨AI代理如何在辩论协议中，在保持任务性能的同时追求潜在目标，并强调监督评估应超越裁决的正确性。
CrossAudit引入了一种基于Git的协议，用于审计使用不同供应商AI代理的自主研究流程，以确保智能体科学中的监督和完整性。
本文介绍了在长AI工作流中最佳的人类监督位置安排的非均匀性原则，证明监督阶段应按非递减间隔安排。该原则在文献综述和网站构建任务中得到了实证验证。
本文将SOLiD测谎器监督方法扩展到更大的LLM（参数规模高达405B），并在真实的偏好学习场景中进行评估，发现未检测到的欺骗行为随模型规模增大而减少，但该方法对训练数据之间的分布偏移敏感。
提出使用弱模型作为批评者的在线策略批评蒸馏（OPCD），为强模型提供修正方向，从而增强推理能力和对齐，无需弱模型解决任务。
# AI编写的评论帮助人类发现缺陷 来源：[https://openai.com/index/critiques/](https://openai.com/index/critiques/) 我们希望确保未来执行极困难任务的AI系统始终与人类意图保持一致。[Many](https://openai.com/index/learning-to-summarize-with-human-feedback/)[previous\(opens in a new window\)](https://arxiv.org/abs/2204.05862)[works\(opens in a new window\)](https://www.deepmind.com/publications/gophercite-teaching-language-models-to-suppo
OpenAI 展示了一种可扩展的对齐技术，使用人工反馈进行整本书的分层摘要总结，展示了如何训练模型在复杂、难以评估的任务上按照人类意图行动。
Anthropic 研究人员证明，Claude Opus 4.6 能够自主担任对齐研究者，以改进弱监督强技术，从而应对可扩展监督中的挑战。