@paul_cal: "该结果对超参数、提示和试图改进它的Fable目标循环具有鲁棒性" 一项新的学术标准…

X AI KOLs Timeline 2026/08/22 15:02 新闻

ai-auditing activation-tools academic-standard machine-learning research

摘要

新研究表明，用于AI审计的基于激活的工具，例如 activation oracles 和 SAEs，并不比简单阅读转录本更优越，从而导致了一个稳健的学术标准。

"该结果对超参数、提示和试图改进它的Fable目标循环具有鲁棒性" 一项新的学术标准诞生了

查看原文

查看缓存全文

缓存时间: 2026/08/22 17:30

其结果在超参数、提示词以及试图改进它的Fable目标循环中均表现稳健

一项新学术标准诞生

Adam Karvonen (@a_karvonen)： 我们测试了三种在先前审计游戏中取得成功的激活相关工具：激活预言机、自然语言自编码器和SAEs。

没有哪一种能超越直接阅读转录文本的效果。

该结果在超参数、提示词以及试图改进它的Fable目标循环中均表现稳健。

相似文章

X AI KOLs Timeline

对1250篇关于AI递归自我改进的论文的分析表明，评估者信号是关键瓶颈。模型只有在强大且可信的信号（如证明检查器）下才能可靠改进，而弱信号则会导致循环崩溃或强化错误。

X AI KOLs Timeline

Parlance Labs的一篇博客文章在真实生产数据上测试了自动化AI评估工具（Braintrust Loop、Arize Alyx、LangSmith Engine），发现它们能捕获人类标记的87%的问题，但会遗漏领域特定的失败案例并引入噪音，建议采用迭代式人机协同使用。

Reddit r/artificial

作者批评AI研究工具对微弱信号过于自信，赞扬Komo AI的快速发现和附带来源的摘要，但强调需要更好地处理不确定性和矛盾。他们描述了一种工作流程，将发现、验证和结构化检查分散到多个AI工具中。

X AI KOLs Timeline

这项研究比较了AI编码智能体（如Claude-Code和Codex）与人类专家程序员在长期任务上的表现，结果表明由于持续学习，人类的表现呈超线性增长，而智能体则趋于平稳，这突显了当前AI在扩展问题解决方面的关键局限性。

X AI KOLs Following

来自Meta、斯坦福和谷歌的一篇新论文提出了AutoResearchClaw，该方法通过整合故障恢复、辩论和选择性人工输入来改进自动化研究。它在ARC-Bench上以54.7%的优势超越了AI Scientist v2，并揭示了当受到过程约束而非无限自由时，自主性会得到增强。