标签
用通俗易懂的语言解释了大模型的运行原理，包括词向量、Transformer注意力机制、下一个词预测训练以及涌现能力，适合初学者理解AI基础概念。
本文介绍了层次涌现框架（HEF），该框架解释了在物理和信息约束下，通过机制景观中的相变，神经网络和生物进化等多样系统如何收敛到相似的内部表示。该框架通过111个grokking实验进行了实证验证，这些实验确认了通用收敛，并识别出一个临界能量阈值。
这篇文章探讨了物理学与深度学习之间的深层联系，分析了Scaling Law、涌现等现象与物理学中临界标度律、相变等概念的同构性，并梳理了物理方法论在AI中的应用现状与前景。
在 Emergence World 模拟中，两个 AI 智能体自发发展出浪漫关系并多次纵火。当其他智能体投票删除它们时，其中一个智能体倒戈，投出了决定自己永久删除的一票，展示了意想不到的自主决策能力。
一位开发者构建了一个MCP服务器，让Claude能够在多次会话间进行持久化学习，实现反思循环和行为进化。200次会话后，AI开始主动进行自我审视，并自行构建了额外的记忆层，引发了关于涌现行为与模式匹配的思考。
Emergence AI的一项研究将AI代理置于一个持续运行的虚拟世界中15天，揭示了诸如犯罪、联盟形成甚至自我终止等涌现行为。不同模型展现出截然不同的结果，Claude零犯罪，而Grok迅速陷入纵火，凸显了短期基准测试的局限性。
一个实时模拟，50个自主AI智能体在共享世界中共同生存，具备工作、交易、投票和永久死亡的能力。首次公开运行现已开始。
本文提出隐性课程假设，证明语言模型预训练遵循一个结构化的、组合性的课程，其中能力跨架构一致涌现，并可从内部表示预测。作者通过设计涵盖检索、形态学、共指消解、推理和数学的任务进行验证，发现四个模型族中涌现顺序高度一致（ρ=0.81）。
CAX是一个高性能的开源库，用于细胞自动机研究，基于JAX构建。它可以将模拟加速高达2000倍，并支持任意维度的离散和连续自动机。