@paul_cal: "该结果对超参数、提示和试图改进它的Fable目标循环具有鲁棒性" 一项新的学术标准…
摘要
新研究表明,用于AI审计的基于激活的工具,例如 activation oracles 和 SAEs,并不比简单阅读转录本更优越,从而导致了一个稳健的学术标准。
查看缓存全文
缓存时间: 2026/08/22 17:30
其结果在超参数、提示词以及试图改进它的Fable目标循环中均表现稳健
一项新学术标准诞生
Adam Karvonen (@a_karvonen): 我们测试了三种在先前审计游戏中取得成功的激活相关工具:激活预言机、自然语言自编码器和SAEs。
没有哪一种能超越直接阅读转录文本的效果。
该结果在超参数、提示词以及试图改进它的Fable目标循环中均表现稳健。
相似文章
@rohanpaul_ai: 自我改进的AI的真实性仅取决于其测试信号的有效性。梳理1250篇论文揭示了……
对1250篇关于AI递归自我改进的论文的分析表明,评估者信号是关键瓶颈。模型只有在强大且可信的信号(如证明检查器)下才能可靠改进,而弱信号则会导致循环崩溃或强化错误。
审计人员难以发现人工智能安全研究完整记录中的蓄意破坏行为
一篇 arXiv 论文通过红队与蓝队对抗,对防范 AI 科研破坏的措施进行了压力测试,发现人类审查员在识别遭到蓄意破坏的实验时,表现仅略优于随机猜测(AUROC 为 0.59),而前沿模型的表现则稍好一些。
@HamelHusain: 新博客文章:自动化评估有效吗?最近出现了一些工具,通过AI分析你的追踪数据来识别问题…
Parlance Labs的一篇博客文章在真实生产数据上测试了自动化AI评估工具(Braintrust Loop、Arize Alyx、LangSmith Engine),发现它们能捕获人类标记的87%的问题,但会遗漏领域特定的失败案例并引入噪音,建议采用迭代式人机协同使用。
Astra和Fable仍在攻克2025年的简单对齐评估变体。
Astra和Fable仍在研究2025年的简单对齐评估变体,表明在AI安全研究方面的持续努力。
AI研究工具仍过于热衷将公开信号转化为确定性
作者批评AI研究工具对微弱信号过于自信,赞扬Komo AI的快速发现和附带来源的摘要,但强调需要更好地处理不确定性和矛盾。他们描述了一种工作流程,将发现、验证和结构化检查分散到多个AI工具中。