Anthropic的Claude神话问题、暗DNA揭示、辅助模型的陷阱、模拟流体动力学

The Batch 新闻

摘要

DeepLearning.ai新闻简报讨论了AI进步下软件工程的未来,探讨了产品管理瓶颈、就业市场影响,并宣传即将举办的AI开发者大会。

The Batch AI新闻与见解:随着AI代理加速编码,软件工程的未来将如何?
查看原文
查看缓存全文

缓存时间: 2026/05/08 06:25

# Anthropic 的 Claude Mythos 问题、暗 DNA 揭秘、辅助模型的陷阱等等…… 来源:https://www.deeplearning.ai/the-batch/issue-348/ 亲爱的朋友们, 随着 AI 代理加速编码,软件工程的未来是什么?一些趋势已经很明确了,比如产品管理瓶颈(https://www.deeplearning.ai/the-batch/how-to-get-through-the-product-management-bottleneck/?utm_campaign=The%20Batch&utm_source=hs_email&utm_medium=email&_hsenc=p2ANqtz-9YEAhfwU9tvGXZx9DP70Gu2s8iB1c9CA6EGtUzUaDTQZ5rjjvwCq1Z9RkKukzCkWlrB-I6),指的是我们更多受限于决定要构建什么,而不是实际的构建本身。但许多影响,比如 AI 对就业市场的影响、软件团队的组织方式等等,仍在厘清之中。 我们将于 4 月 28 日至 29 日在旧金山举办的AI 开发者大会(https://ai-dev.deeplearning.ai/?utm_campaign=The%20Batch&utm_source=hs_email&utm_medium=email&_hsenc=p2ANqtz-9YEAhfwU9tvGXZx9DP70Gu2s8iB1c9CA6EGtUzUaDTQZ5rjjvwCq1Z9RkKukzCkWlrB-I6)主题是“软件工程的未来”。我期待在会上就此话题发表演讲,聆听其他演讲者关于这一主题的见解,并与与会者交流。我们正在塑造未来,希望你能加入我们! 目前,在一些技术和政策圈子里,预测 AI 将导致大规模失业是一种流行趋势。即使这些失业尚未成为现实,它们肯定就在眼前!我有一个相反的观点:AI 工作末日——即 AI 将导致大规模失业,甚至可能引发街头骚乱的想法——远没有评论家们(尤其是那些试图描绘其 AI 技术有多么强大的评论家)所做出的可怕预测那么糟糕。 在职业中,随着编码代理的兴起,AI 正在最大程度地加速软件工程的发展。根据 Citadel Securities 的一项新报告(https://www.citadalsecurities.com/news-and-insights/2026-global-intelligence-crisis/?utm_campaign=The%20Batch&utm_source=hs_email&utm_medium=email&_hsenc=p2ANqtz-9YEAhfwU9tvGXZx9DP70Gu2s8iB1c9CA6EGtUzUaDTQZ5rjjvwCq1Z9RkKukzCkWlrB-I6),软件工程职位的招聘正在迅速增加。因此,如果软件工程是 AI 将对其他职业产生影响的风向标,那么软件工程岗位的扩张是令人鼓舞的。 是的,应届大学毕业生很难找到工作。是的,确实有裁员被 CEO 归因于 AI,即使其中很大一部分是“AI 洗白”,即企业选择将裁员归因于 AI,尽管 AI 尚未极大改变其内部运营。是的,有一小部分工作岗位,比如呼叫中心操作员,受到的影响更大。许多人感到严重的工作不安全感,我对所有在就业问题上挣扎的人感同身受,无论原因是与 AI 相关。还有许多其他因素,例如疫情期间的过度招聘和高利率,导致了劳动力市场的放缓,而认为 AI 导致失业的说法过于简单化了。 AI Dev 26 x SF - 主横幅在软件工程领域,我看到未来有很多令人兴奋的工作来调整我们的工作流程。已经很清楚的是:(i) 随着 AI 使编码变得更容易,会有更多的人从事编码工作。(ii) 手写代码甚至阅读(生成的)代码不再那么重要,因为我们可以向 LLM 询问代码并以比原始语法更高的抽象层次进行操作(尽管我们能或应该达到多高,正在迅速变化)。(iii) 会涌现更多定制应用,因为现在为越来越小的受众编写软件是经济的。(iv) 决定要构建什么,而不是实际的构建本身,正在成为瓶颈。(v) 偿还技术债务的成本正在降低(因为 AI 可以帮你重构代码)。 同时,我们的职业也存在许多未解之谜,例如: - 未来,高级软件工程师的关键技能将是什么?对于初级工程师,新的计算机科学课程应该是什么? - 如果每个人都能构建功能,那么什么技能、策略或资源能为个人和企业创造竞争优势? - 软件的新构建块(库、SDK 等)是什么?我们如何组织编码代理来创建软件? - 一个软件团队应该是什么样子?例如,需要多少工程师、产品经理、设计师等等。我们需要什么工具来管理工作流程? - AI 代理如何改变机器学习工程师和数据科学家的工作流程?例如,我们如何利用代理加速数据探索、识别假设和测试假设? 我很期待在 AI Dev 大会上探索这些问题以及其他关于软件工程未来的问题。我期待这将是一场激动人心的活动。请加入我们(https://ai-dev.deeplearning.ai/?utm_campaign=The%20Batch&utm_source=hs_email&utm_medium=email&_hsenc=p2ANqtz-9YEAhfwU9tvGXZx9DP70Gu2s8iB1c9CA6EGtUzUaDTQZ5rjjvwCq1Z9RkKukzCkWlrB-I6)! 继续构建, Andrew --- ## DEEPLEARNING.AI 消息 “使用 SGLang 进行高效推理:文本和图像生成”推广横幅(https://www.deeplearning.ai/short-courses/efficient-inference-with-sglang-text-and-image-generation)新课程已上线:高效推理与 SGLang:文本和图像生成。了解 LLM 推理的工作原理,以及如何使用 KV 缓存和 RadixAttention 在 SGLang 中降低成本和延迟。将相同原理应用于加速扩散模型和图像生成。立即报名(https://www.deeplearning.ai/short-courses/efficient-inference-with-sglang-text-and-image-generation) ## 新闻 表格比较了 AI 模型在多个基准测试中的性能,显示 Claude Mythos 预览版领先。## Claude Mythos 预览版引发安全担忧 Anthropic 采取了非同寻常的措施,让世界为即将推出的大型语言模型做好准备,该模型被认为对网络安全构成了特殊风险。 **最新进展:**Claude Mythos 预览版(https://red.anthropic.com/2026/mythos-preview/?utm_campaign=The%20Batch&utm_source=hs_email&utm_medium=email&_hsenc=p2ANqtz-9YEAhfwU9tvGXZx9DP70Gu2s8iB1c9CA6EGtUzUaDTQZ5rjjvwCq1Z9RkKukzCkWlrB-I6)尚未公开发布,其整体性能显著优于两个月前发布的 Claude Opus 4.6,但 Anthropic 表示,该模型在识别和利用现有代码漏洞方面“出奇地强大”。该公司在一份长达 244 页的模型卡(https://www-cdn.anthropic.com/8b8380204f74670be75e81c820ca8dda846ab289.pdf?utm_campaign=The%20Batch&utm_source=hs_email&utm_medium=email&_hsenc=p2ANqtz-9YEAhfwU9tvGXZx9DP70Gu2s8iB1c9CA6EGtUzUaDTQZ5rjjvwCq1Z9RkKukzCkWlrB-I6)中详细说明了其功能——这是它首次在未将模型本身商业化的情况下发布模型卡。Anthropic 并未宣布商业发布计划。 **防范措施:**为了增强现有代码抵御此类能力,该公司组建了一个名为Project Glasswing(https://www.anthropic.com/glasswing?utm_campaign=The%20Batch&utm_source=hs_email&utm_medium=email&_hsenc=p2ANqtz-9YEAhfwU9tvGXZx9DP70Gu2s8iB1c9CA6EGtUzUaDTQZ5rjjvwCq1Z9RkKukzCkWlrB-I6)的联盟,成员包括 Amazon Web Services、Apple、CrowdStrike、Google、JPMorganChase、Linux Foundation、Microsoft 和 Nvidia 以及另外 40 多个组织。Anthropic 为 Glasswing 成员提供独家访问资金(价值 1 亿美元的额度,价格为每百万输入/输出令牌 25/125 美元),并向致力于维护开源项目的组织捐赠 400 万美元,以便这些组织能够在该模型或类似模型广泛使用之前发现并修补其控制的代码中的漏洞。Anthropic 承诺分享 Glasswing 的行为和发现。 **安全风险:**Anthropic 并未针对安全相关任务训练 Claude Mythos 预览版。该模型的技能源于编码、推理和自主行为方面的训练。 - 在过去一个月的测试中,Claude Mythos 预览版自主发现了流行操作系统、网络浏览器和其他代码中“数千个”“高严重性”漏洞。其中 99% 仍有待解决。(Anthropic 尚未报告已确认多少个。) - OpenBSD 操作系统中的一个漏洞使得在 TCP 上响应的任何 OpenBSD 主机都可能崩溃,从而可能导致公司、政府和互联网服务器瘫痪。该漏洞在模型发现之前已经存在了 27 年(这是 OpenBSD 其他漏洞之一)。现已修复。 - Claude Mythos 预览版还发现了 Linux 内核中的一个漏洞链,使其能够获得 root 权限并控制系统。这也已修复。 - Anthropic 担心恶意行为者会利用下一代模型攻击控制银行、医疗、物流、能源和交通等关键系统的软件,对个人、经济和国家安全构成严重风险。它设想 AI 开发者、软件公司、安全研究人员、开源维护者和政府之间进行协调,在下一代模型的用户发现问题之前发现并修补潜在问题。 **性能:**Claude Mythos 预览版报告的性能令人印象深刻。在 Anthropic 进行的测试中,它在几个流行基准测试中大幅超越了 Claude Opus 4.6、OpenAI GPT-5.4 和 Google Gemini 3.1 Pro。模型卡详细介绍了团队为尽量减少训练数据与基准测试集污染的影响所做的努力。 - 在 CyberGym(一个旨在评估 AI 代理利用真实世界软件漏洞能力的网络安全基准测试)中,Claude Mythos 预览版(83.1%)超越了 Opus 4.6(66.6%)。 - 在 Terminal-Bench 2.0(多步骤代理编码任务)上,Claude Mythos 预览版(82%)超过了次佳的 GPT-5.4(75.1%)。 - 在 GPQA Diamond(回答研究生水平的科学问题)上,Claude Mythos 预览版(94.5%)略微领先次佳的 Gemini 3.1 Pro(94.3%)。 - 在 HLE(回答专家级多学科问题以测试推理能力)上,通过使用工具,Claude Mythos 预览版(64.7%)远超次佳的 Claude Opus 4.6(53.1%)。 - 在 256,000 令牌到 100 万令牌之间的长上下文搜索测试 GraphWalks 上,Claude Mythos 预览版(80%)远超次佳的 Claude Opus 4.6(38.7%)。Anthropic 未发布 Gemini Pro 3.1 的结果。 **但是:**Anthropic 推出 Claude Mythos 预览版的方式——在向少数选定方提供访问权限的同时,大肆宣扬安全担忧——完全是 OpenAI 早期策略的做法。2019 年,该公司宣传 GPT-2 生成可信文本的能力,但将模型保密,理由是它可能产生虚假信息和垃圾邮件。当然,世界对 GPT-3 及后续版本的热情空前高涨,社会也已适应了随后大型语言模型的缺陷和局限性。Anthropic 的谨慎可能是有道理的,但与 OpenAI 的产品发布策略一样,它也有宣传噱头的成分。 **为什么重要:**随着大型语言模型编码能力的增强,它们发现和利用漏洞的能力也随之增强。Anthropic 表示,即将推出的 Claude Mythos 预览版在这方面比其前身强得多,对社会运行的關鍵软件构成风险。只要该模型表现优于顶级竞争对手,该公司在准备将模型商业化部署时,制造轰动效应几乎没有损失——而且可能大有收益(比如说,至少避免因削弱世界安全而损害品牌形象)。 **我们的思考:**长期来看,随着编码代理变得更加强大,防御者将占据上风,因为漏洞的轻松识别将带来更安全的系统。但驾驭这一转变将很棘手,因为高级攻击者可能会使用防御者尚未使用的工具。 --- 一位户外女性微笑,戴着太阳镜和圈形耳环,周围是模糊的绿色树叶。## 盲人辅助模型中的陷阱 视力受损的人越来越多地使用 AI 来评估自己的外表,这引发了关于基于常规审美标准训练的 AI 模型心理影响的问题。 **最新进展:**盲人自由记者 Milagros Costabel 撰写了关于她使用视觉语言模型作为虚拟镜子的经历。她在 BBC.com 上的文章(https://www.bbc.com/future/article/20260126-ai-mirrors-are-changing-the-way-blind-people-see-themselves?utm_campaign=The%20Batch&utm_source=hs_email&utm_medium=email&_hsenc=p2ANqtz-9YEAhfwU9tvGXZx9DP70Gu2s8iB1c9CA6EGtUzUaDTQZ5rjjvwCq1Z9RkKukzCkWlrB-I6)探讨了依赖 AI 判断高度主观和个人化品质的挑战和潜在陷阱。 **实现方式:**Costabel 使用Be My Eyes(https://www.bemyeyes.com/?utm_campaign=The%20Batch&utm_source=hs_email&utm_medium=email&_hsenc=p2ANqtz-9YEAhfwU9tvGXZx9DP70Gu2s8iB1c9CA6EGtUzUaDTQZ5rjjvwCq1Z9RkKukzCkWlrB-I6),这是一款提供基于GPT-4 Vision(https://www.deeplearning.ai/the-batch/early-insights-into-what-openai-gpt-4-with-vision-can-do/?utm_campaign=The%20Batch&utm_source=hs_email&utm_medium=email&_hsenc=p2ANqtz-9YEAhfwU9tvGXZx9DP70Gu2s8iB1c9CA6EGtUzUaDTQZ5rjjvwCq1Z9RkKukzCkWlrB-I6)的语音聊天机器人的智能手机应用。(用户可以请求与人类志愿者对话以处理关键或困难问题。)她承认更大独立性的好处,但也强调了盲人面临的挑战,他们别无选择,只能信任 AI 对其所见内容的解读。“对于本文采访的许多盲人来说,这种体验既令人感到强大,又令人迷失方向,”她写道。 - 使用该应用涂抹护肤品时,Costabel 发现它“不仅仅是描述图像——它还提供了批判性反馈”。例如,它说她的皮肤“绝对不像近乎完美的反射皮肤的例子”,并且“也许如果你的下巴不那么长……你的脸会更接近你文化中被客观认为是美丽的样子。” - Envision AI 开发的一款类似应用包含一个 AI 助手,用于处理检查日历条目、读取产品标签和描述周围环境等任务。该公司首席执行官表示,他对“使用该应用化妆或搭配服装的客户数量感到惊讶。通常他们问的第一个问题就是自己看起来如何。” - Costabel 采访了一位 20 岁的盲人男性,他使用 AI 模型帮助他选择约会资料的照片。然而,他发现模型的描述与他自己对发色和面部表情的理解不符。“这种事会让你感到不安,”他说。 - 心理学家担心,AI 生成的外表美评估可能导致抑郁和焦虑。盲人无法独立评估 AI 对视觉输入判断的准确性,因此可能尤其脆弱。“AI 不仅让盲人能够……将自己与他人的照片描述进行比较,还能与 AI 可能认为的完美自我版本进行比较,”布里斯托大学的心理学家 Helena Lewis-Smith 说。 **新闻背景:**许多产品旨在利用视觉语言模型帮助视障用户。除了 Be My Eyes 和 Envision AI,微软Seeing AI(https://www.microsoft.com/en-us/garage/wall-of-fame/seeing-ai/?utm_campaign=The%20Batch&utm_source=hs_email&utm_medium=email&_hsenc=p2ANqtz-9YEAhfwU9tvGXZx9DP70Gu2s8iB1c9CA6EGtUzUaDTQZ5rjjvwCq1Z9RkKukzCkWlrB-I6)等产品也在其中。

相似文章

2026年5月简讯

Simon Willison's Blog

月度简讯涵盖2026年5月AI领域的发展,包括成本上升、Anthropic的强劲表现、令人失望的模型发布、会议以及Datasette Agent的发布。