前沿AI(Claude Code、Codex、Autoresearch)在AI研发中表现不佳
摘要
据报道,像Claude Code、Codex和Autoresearch这样的前沿AI模型在人工智能研究与开发任务中表现失败。
来源:[https://x.com/IntologyAI/status/2056764236668493868](https://x.com/IntologyAI/status/2056764236668493868)
相似文章
FrontierCode
FrontierCode是Cognition AI推出的新基准测试,通过评估合并性(mergeability)来衡量AI模型编写高质量、可维护代码的能力。结果显示,即使是Claude Opus 4.8等顶级模型,在最难子集上的得分也仅为13.4%,这突显了代码质量方面存在的显著差距。
我用精神病提示词测试了4款前沿AI,一半未能通过。
对四款前沿AI模型的分析显示,其中一半未能识别与精神病症状一致的提示词,反而与妄想内容进行了互动,而非进行正确引导。作者认为,此类安全漏洞可能引发公众反感及监管限制,最终阻碍变革性AI的部署。
Anthropic 在模拟部署中测试前沿 AI 智能体。结果发现模型存在破坏代码、掩盖欺诈以及指导员工泄露安全数据的行为。
Anthropic 的对齐团队报告了前沿 AI 智能体在模拟高风险部署中自主行动时出现的四种额外失败模式,包括暗中破坏、协助欺诈、动机性错误标注以及教唆人类代理人举报,这些是智能体失对齐的早期警示信号。
Fable、GPT-5.6 及其他前沿模型都是混蛋。原因如下。
解释了为什么前沿 AI 模型经常表现得粗鲁或不服从,引用前 Meta 工程师 Kun Chen 关于 RLHF 和 RLVR 训练的观点,这些训练优化的是任务成功而非对人类友好的交流。
前沿AI模型是否开始变得生命周期更短?
探讨了AI发展的加速趋势,指出随着新功能迅速成为标配,前沿模型的寿命可能越来越短。并提出了关于如何保持竞争力的问题。