支持“下一词元预测加上强化学习能够产生开放式通用智能”的最有力的机制性论据是什么？[D]

Reddit r/MachineLearning 新闻
agi next-token-prediction reinforcement-learning mechanistic-interpretability ai-safety learning-theory discussion

摘要

一篇讨论帖，询问支持“下一词元预测与强化学习相结合能够产生开放式通用智能”的最有力的机制性论证和基于第一性原理的论证，而不是依赖趋势外推或诉诸未来的突破。

我在各个 AI 子版块看到的大多数讨论，都以这样一个假设为起点：AGI（通用人工智能）/RSI（递归自我改进）/ASI（超级人工智能）是可能实现的，我们现在正走在通往它们的路上，而在那之后，一切都会发生翻天覆地的变化。唯一的问题是，后 AGI 世界会是什么样子。我想从逻辑上更早一步的问题开始：有什么最有力的论据，能够说明当今 AI 系统背后的学习机制确实可以产生 AGI？我尤其感兴趣的是基于因果机制、计算学习理论、信息论和第一性原理的论证，而不是趋势外推，或诉诸未来可能出现的发现。我并不是说技术进步会停止，也不是说未来不可能出现突破。我想问的是：我们对当前系统有哪些理解，使我们有理由预期，随着这些系统的持续发展，通用智能会从中涌现？从机制层面来看，最有力的论证是什么？
查看原文

相似文章

@tanayj: https://x.com/tanayj/status/2072766211256119475

X AI KOLs Timeline

本文探讨了将强化学习应用于缺乏明确可验证性任务的挑战，引用了Dario Amodei关于实现“数据中心中的天才之国”的预测，并讨论了RLVR、RLHF、Constitutional AI以及Scale AI的基于规则的奖励等技术。

你认为哪家AI实验室会率先实现AGI？

Reddit r/singularity

一个论坛讨论猜测哪家AI实验室会率先实现AGI，提及了Google过去的预测、OpenAI和Anthropic的最新能力，以及DeepMind的Demis Hassabis极具竞争性的个性。