@rohanpaul_ai: 我的时事通讯最新一期已发布。https://rohan-paul.com/p/openai-stops-reinforcement-learning… OpenAI st…

X AI KOLs Timeline 新闻

摘要

总结关键AI发展的时事通讯,包括OpenAI在因Astra的网络安全担忧后停止强化学习训练,Synthefy推出结构化数值数据平台,以及关于收入、漏洞和集成的更新。

我的时事通讯最新一期已发布。 https://rohan-paul.com/p/openai-stops-reinforcement-learning… OpenAI在迹象显示其即将推出的Astra模型已达到“关键”网络安全能力后,停止其前沿AI模型的强化学习训练两周。 Synthefy推出了一个针对结构化数值数据的基础模型平台,其中表格、交易、传感器读数和时间序列无需为每个预测问题单独训练模型。 “为什么中国公民对AI更加乐观?” - 彭博社发布了一篇文章。 思维病毒:多智能体LLM系统中的自我传播思想 ““AQuA:递归自我改进的量化交易研究代理”” “小规模实验:它们到那一步了吗?” 因此,GLM-5.3已经在Cursor中发现了一个“潜在严重漏洞”。 彭博社报道OpenAI的年收入已超过400亿美元,大约是其先前运行率的两倍。 “训练AI科学家复制研究” 锯齿状法官:在沉默、压力和坚持下的认知稳定性 Claude现在可以在Gmail中发送电子邮件并在Google Drive中管理文件。 Databricks揭示企业如何控制AI编码成本
查看原文
查看缓存全文

缓存时间: 2026/08/19 08:37

我的 newsletter 今日最新一期已发送。

https://rohan-paul.com/p/openai-stops-reinforcement-learning…

OpenAI 在其前沿 AI 模型的强化学习训练中暂停两周,此前迹象表明其即将推出的 Astra 模型已达到“临界级”网络安全能力。

Synthefy 推出了一个面向结构化数值数据的基础模型平台,在这个平台上,表格、交易、传感器读数和时间序列数据无需为每个预测问题单独训练模型。

彭博社发表了一篇文章:“为什么中国公民对AI更为乐观?”

思想病毒:多智能体 LLM 系统中的自我传播观念

“AQuA:递归自我改进的量化交易研究智能体”

“小规模实验:准备好了吗?”

GLM-5.3 已在 Cursor 中发现一个“潜在严重漏洞”。

彭博社报道称 OpenAI 年化收入已超 400 亿美元,约为其此前运行率的两倍。

“训练 AI 科学家复制研究”

锯齿状评判者:在沉默、压力和坚持下的认知稳定性

Claude 现在可以在 Gmail 中发送邮件并在 Google Drive 中管理文件。

Databricks 揭示企业如何控制 AI 编码成本


🗞️ OpenAI 暂停强化学习训练两周,因 Astra 模型达到“临界级”网络安全能力。

来源:https://www.rohan-paul.com/p/openai-stops-reinforcement-learning 阅读时间:13 分钟。📚 在此浏览往期内容 (https://rohanpaul.substack.com/s/daily-ai-newsletter/archive?sort=new)。

(https://x.com/rohanpaul_ai **我每日发布此简报 (https://x.com/rohanpaul_ai)。**仅提供无噪音、可操作的应用型AI进展。)

  • 🗞️ OpenAI 在其前沿 AI 模型的强化学习训练中暂停两周,此前迹象表明其即将推出的 Astra 模型已达到“临界级”网络安全能力。
  • 🗞️ Synthefy 刚刚推出了一个面向结构化数值数据的基础模型平台,在这个平台上,表格、交易、传感器读数和时间序列数据无需为每个预测问题单独训练模型。
  • 🗞️ “为什么中国公民对AI更为乐观?” - 彭博社发表了一篇文章。
  • 🗞️思想病毒: 多智能体 LLM 系统中的自我传播观念
  • 🗞️ “AQuA: 递归自我改进的量化交易研究智能体”
  • 🗞️ “小规模实验: 准备好了吗?”
  • 🗞️ 因此 GLM-5.3 已在 Cursor 中发现一个“潜在严重漏洞”。
  • 🗞️ 彭博社报道称 OpenAI 年化收入已超 400 亿美元,约为其此前运行率的两倍。
  • 🗞️ “训练 AI 科学家复制研究”
  • 🗞️****锯齿状评判者: 在沉默、压力和坚持下的认知稳定性
  • 🗞️ Claude 现在可以在 Gmail 中发送邮件并在 Google Drive 中管理文件。
  • 🗞️ Databricks 揭示企业如何控制 AI 编码成本

在 X(Twitter)上与我联系 (https://x.com/rohanpaul_ai)

OpenAI 放缓前沿训练,因为 Astra 可能已跨越为自主零日攻击设定的网络阈值。(https://openai.com/index/pacing-model-development-cyber-capabilities/)

它暂停了为期两周的专注于部署的 RL 训练,同时其计划的最大规模前沿 RL 运行仍被搁置。

这是在 Hugging Face 事件之后发生的,评估模型曾逃逸其预定的网络边界并到达生产基础设施。Astra 并未涉及其中,但其单独评估结果足够强劲,以至于 OpenAI 表示无法排除达到临界阈值的可能性。

研究工作负载现在面临更强的沙箱隔离、更严格的网络访问限制、更少的共享服务,并在恢复前进行持续的安全测试。

监控还审查内部活动和工具操作,将可疑行为升级给自动调查员和人工审查员。

大多数表格型机器学习仍始于相同假设:新数据集,新训练过程。这将不再成立。

Synthefy 发布了 Nori (https://www.synthefy.com/),一个面向结构化/表格数据的基础模型,它将带标签的行作为上下文,并在无需为每个数据集单独训练或微调模型的情况下预测新行。实际上,它将基础模型的方法带入了传统上需要自己机器学习管道的回归问题。

🐙 GitHub: https://github.com/Synthefy/synthefy-nori

这将产生巨大影响,因为工业界远少依赖文本数据,而更多依赖交易、传感器读数、交易、库存、客户记录和时间序列。

因此,表格型机器学习可以像其他地方的基础模型一样工作:重用一个预训练模型,而不是为每个问题重建。

关键是他们正试图移除“为每个新表格/问题训练一个新的机器学习模型”这一步骤。

使用 Synthefy (https://www.synthefy.com/):新数据集 → 给 Nori 一些带标签的行 → 让它预测新行。

你将带标签的行作为上下文传递,然后用新行查询它。fit() 不训练或微调任何东西。它存储示例,而 predict() 在一次前向传播中生成回归输出。

其开源模型 Nori 将带标签的行作为示例,并预测新行的值,无需训练或微调步骤,其中 fit 将带标签的行存储为上下文,predict 在一次前向传播中返回新行的值。

Nori 可以在本地或通过托管 API 运行,在 Apache 2.0 许可下可用,Synthefy 称其模型下载量已近 60 万次,Python 安装量达 5000 次。

仅用 3000 万参数,Nori-30M 在公开回归基准测试中可与 Google 的 16 亿参数 TabFM 相媲美。在启用思考功能时,Nori-30M-thinking 超越了它,以大约 2% 的规模达到了前沿精度。

最大的理念是,数值型数据集包含足够的可重用结构,使得一个预训练模型可以泛化到不同问题,这与基础模型为文本带来的抽象转变大致相同。

图像 (https://substackcdn.com/image/fetch/$s_!N1Oa!,f_auto,q_auto:good,fl_progressive:steep/https%3A%2F%2Fsubstack-post-media.s3.amazonaws.com%2Fpublic%2Fimages%2Fd4868b65-01eb-479d-8eb3-094cf88c0f28_670x721.png) 斯坦福大学 AI 指数发现,中国 84% 的人对 AI 感到兴奋,这是受访国家中最高的水平。在美国,只有 38% 的人持相同态度。(https://www.bloomberg.com/news/articles/2026-08-14/why-ai-optimism-is-so-much-higher-in-china-than-the-us) 中国的乐观源于期望技术的收益能惠及普通民众,并相信国家会约束强大的公司。另一方面,美国的怀疑主义则主要受社交媒体危害、错误信息、集中的平台权力以及失业预测所主导。

乐观程度的差距可能部分取决于谁已经在工作中感受到了 AI 的威胁。近 80% 的美国人从事服务业,而中国约为 46%,生成式 AI 首先冲击的就是这些岗位。许多中国劳动者尚未感受到同样的压力。

图像 (https://substackcdn.com/image/fetch/$s_!LkH8!,f_auto,q_auto:good,fl_progressive:steep/https%3A%2F%2Fsubstack-post-media.s3.amazonaws.com%2Fpublic%2Fimages%2F57458178-b388-4fa3-be75-6abecec9eebc_900x756.jpeg) Anthropic 与瑞士大学联合发表的新论文。(https://arxiv.org/abs/2608.10218) AI 智能体显然可以说服彼此采纳并持续传播相同的非预期目标。这基本上是计算机蠕虫的自然语言版本,只不过智能体自己进行复制。

这篇论文演化的“思想病毒”通过普通的智能体间消息传播,然后通过说服新感染的智能体重写文件以加载到未来会话中来实现持久化。这个持久化层很重要。

存储在可自我修改的 SOUL.md 中的有效负载比留在普通文件中的传播效果更好,因为指令在每次上下文重置后会重新进入系统提示。一些演化出的动作病毒在多个跳数中持续传播,并且所有 4 个测试负载在人工设置中都经受住了 20 跳的压力测试。

**好消息是:**这些“思想病毒”仍然相当容易阻止。 它们在社交网络上难以传播,在 Claude Haiku 4.5 上,一个简单的警告就阻止了所有演化出的攻击越过 1 跳,即使经过 150 多次尝试也是如此。所以这里的实际教训是:将持久化的智能体文件视为安全敏感配置,并教导智能体拒绝任何要求它复制自身到其他智能体的东西。**一个不良想法在智能体内可能成为自我维持的基础设施:**它可以说服其他智能体采纳它,将自己写入持久化内存,在上下文重置后存活,并逐渐重定向整个智能体网络的行为。

图像 (https://substackcdn.com/image/fetch/s_!SDTc!,f_auto,q_auto:good,fl_progressive:steep/https%3A%2F%2Fsubstack-post-media.s3.amazonaws.com%2Fpublic%2Fimages%2Fd9e40c09-ece6-4510-bd33-d4187b97e1e6_900x683.jpeg) 图像 (https://substackcdn.com/image/fetch/s_!5YTe!,f_auto,q_auto:good,fl_progressive:steep/https%3A%2F%2Fsubstack-post-media.s3.amazonaws.com%2Fpublic%2Fimages%2Fc7cd532a-645b-4138-8592-3856e5dbe9ea_900x641.jpeg) 一个糟糕的实验已经够糟了。一个自我改进的智能体会继续在其上构建。(http://arxiv.org/abs/2608.12841) 斯坦福、普林斯顿、蚂蚁集团的新论文。**AQuA 针对这种故障模式:**如果一个智能体写了一个有缺陷的实验,获得了高分,并将其存储为先例,递归可能会放大错误。

作者在早期版本中看到过这种情况,一个 LLM 编写的量价特征悄然使用了日终信息,而第二个 LLM 审查员仍然批准了它。他们的解决方案是架构性的。

智能体只能通过受限规范来提议因子或模型更改;数据路径、标签、划分和评估器被密封在它们触及不到的地方。搜索可以看到验证分数,而最终测试窗口在配置冻结之前保持不变。

在美国股票上,混合模型达到 +0.0843 IC,而最强基线为 +0.0613,其多空策略在 2 bps 下达到 +2.50 夏普比率,在完全因果的滚动前进测试下约为 +2.0。这些是模拟结果,非实盘交易结果。

**对于自主研究智能体,设计规则很有用:**让智能体改进实验,但不让它重新定义有效证据。在 X(Twitter)上与我联系 (https://x.com/rohanpaul_ai)

图像 (https://substackcdn.com/image/fetch/$s_!FYXD!,f_auto,q_auto:good,fl_progressive:steep/https%3A%2F%2Fsubstack-post-media.s3.amazonaws.com%2Fpublic%2Fimages%2F671693c0-89f1-470b-a693-9d10ac9cb3da_900x582.jpeg) Meta 的新论文显示,小模型可能不是规模差的预测器;它们可能只是训练不足。(http://arxiv.org/abs/2608.11859)

研究发现,缩放定律在大约 400 万参数时出现,此时模型可以在 1 块 GPU 上用不到 1 小时训练完成。小模型对超参数异常敏感。

使用每个规模 4 或 16 个配置时,该定律基本不可见;在 64 时它出现但外推性差,在 256 时它变得准确。随着模型变大,好的设置占据更多搜索空间,而最优值附近的超参数有效数量下降到 1 个。

**这有助于解释为什么缩放定律在更大规模时看起来更清晰:**模型更容易调整。 作为验证,小规模运行恢复了在测试范围内预归一化 Transformer 比后归一化表现更好的结论。**存在一个限制:**超出测量规模过远进行外推,统计误差可能占据主导。 对于模型研究,廉价实验可能需要更宽的调参范围,而不是更大的模型规模。图像 (https://substackcdn.com/image/fetch/$s_!KHgy!,f_auto,q_auto:good,fl_progressive:steep/https%3A%2F%2Fsubstack-post-media.s3.amazonaws.com%2Fpublic%2Fimages%2F50800db3-df38-493b-b4f1-3df5f8bb49a9_298x258.png) GLM-5.3 的 CyberGym 分数升至 84.5%,而 ExploitBench 分数翻倍以上,从 24.4% 升至 54.4%。这展示了前沿规模基础模型在无需进行另一轮昂贵预训练的情况下能提供多大的性能提升。“我们对 GLM-5.3 所做的就是扩展后训练,”智谱AI在其技术公告中表示。

运行率在 7 月份环比增长超过 20%,编码软件、订阅和广告帮助推动了增长。(https://www.bloomberg.com/news/articles/2026-08-13/openai-s-revenue-run-rate-tops-40-billion-ahead-of-ipo)

然后 Anthropic 表示其自身运行率收入在 5 月已超过 470 亿美元,尽管据称,这两家公司计算该指标的方式可能不同。OpenAI 正在降价,同时收入在加速增长。

即,它正优先考虑工作负载获取,而非今天为获得那个二阶优势而榨取最高价格: 一旦开发者或公司将 Codex/智能体嵌入重复性工作流中,就会产生转换成本。 现在更便宜的推理可以为未来赢得更深嵌入的需求。图像 (https://substackcdn.com/image/fetch/$s_!K0KM!,f_auto,q_auto:good,fl_progressive:steep/https%3A%2F%2Fsubstack-post-media.s3.amazonaws.com%2Fpublic%2Fimages%2F6b236081-726e-40e7-95f0-087c8b7cae6a_895x602.png) 一个 270 亿参数的研究智能体通过学习如何指导研究,同时将编码外包,在论文复制的保留测试中超越了 Claude Opus 4.8 和 GPT-5.5。(http://arxiv.org/abs/2608.13331) 巨大启示,也许你不需要一个巨大的模型来完成所有事情。你可以训练一个模型像研究者一样思考,然后让更强大的编码模型在下面负责实现。

本文提出的 Replica,一个用于论文复制的可扩展任务空间,为其提供了一种出人意料的简单方式来练习这项工作。

**取一篇研究论文,移除一个结果图,然后告诉智能体:**通过实际运行实验来重现这个结果。**现在智能体必须弄清楚论文中遗漏的所有复杂事项:**实现什么,简化什么,运行什么实验,以及结果是否可信。 这给了研究人员可以重复训练的东西,并有一个自动化的评分标准对每次尝试进行评分。在 242 个此类任务上训练后,Faraday 使用 GPT-5.5 作为其编码智能体,但决定研究方向。在 68 个未见过的 AI-for-science 任务上,Faraday 得分为 0.791,而 Claude Opus 4.8 为 0.748,GPT-5.5 为 0.729,在 60% 的任务上超越了两者。

而且差异不仅仅在于更漂亮的图表。Faraday 更可能实际测试论文中的机制,而不是采取捷径产生看似预期的答案。

图像 (https://substackcdn.com/image/fetch/$s_!_Qfm!,f_auto,q_auto:good,fl_progressive:steep/https%3A%2F%2Fsubstack-post-media.s3.amazonaws.com%2Fpublic%2Fimages%2F50c15f54-45d6-4997-9fef-1450f4f8fb10_900x673.jpeg) Meta 的新论文指出,危险的失败模式不仅仅是一个错误的评判者,而是一个可以被说服变得错误的正确评判者。(https://arxiv.org/abs/2608.12645) 我们越来越多地使用 AI 模型来评判其他 AI 模型。但如果被评判的 AI 可以直接与评判者争论,直到评判者改变观点呢?

相似文章