概率性软件的问题所在
摘要
作者指出，过去30年软件建立在确定性假设之上（相同输入产生可预测行为），但AI的概率性系统正在嵌入同样的基础设施，问题在于用治理确定性软件的假设去治理概率性系统，因此需要在AI周围建立新的确定性边界基础设施层。
过去30年里，我们围绕一个简单的假设构建软件：给它相同的输入，你就会得到可预测的行为。正是这一点让软件变得可治理。我们清楚代码应该做什么。我们可以对它进行测试、审计，并围绕它制定规则。
AI改变了这一假设。如今，我们正在把概率性系统嵌入到支撑我们业务运转、管理我们数据、并做出决策的同一套基础设施中。问题不在于AI是概率性的。问题在于，我们试图用过去治理确定性软件的那些假设来治理概率性系统。
我认为，我们需要在AI周围建立一个全新的基础设施层。目的不是让AI变得确定，而是在AI周围划定确定性的边界。这正是我多年来一直在思考和解决的问题。
相似文章
我们对 AI 说"不"的能力过于信任了
MIT Technology Review 分析指出，业界过度依赖训练 AI 拒绝有害请求的机制，但这种基于概率的拒绝既不可靠，也难以划定合理边界，可能带来重大安全隐患。
@jakevin7: 做一个预言：AI 时代的下一阶段，会变成 “Infra is all you need”。 现在 AI 生成代码的能力已经很强，但是在可用性和稳定性目前还远远不够。 最近 OpenAI 订阅系统出现了超大bug，会员系统完全炸了。 系统一…
作者预言AI时代下一阶段将从模型能力转向基础设施能力，强调可复现、可观测、可恢复、安全隔离等infra能力，认为稳定承载AI行为将是竞争关键。
@snowboat84: 补充说明一下，关于AI涌现出来的那些现象，scaling law、emergence、双重下降、表征几何，目前相关讨论的论文已经汗牛充栋。但这里有一个很大的问题：他们都在用计算机科学家的方式思考，而不是物理学家的方式思考。 什么是计算机科…
作者评论当前AI研究过多使用计算机科学的思维方式而缺乏物理学方法，提出需要建立如'Cyber Space'的理想系统来奠定理论基础。
人工智能不确定性的数学
正如Zoubin Ghahramani关于智能系统中不确定性数学所讨论的，AI系统必须整合概率推理以处理不确定性，从而实现鲁棒且可信赖的决策。
@freeman1266: 软件工程方法论必须从传统的“状态视角”转向动力系统视角。 核心观点主张“吸引子（Attractor）逻辑优先于治理工具（Harness）”，即首先定义系统应长期收敛的结构不变量，而非仅仅关注局部的约束与验证。 AI作为高频且无持续方向感的…
文章提出软件工程方法论应从状态视角转向动力系统视角，强调吸引子逻辑优先于治理工具，在AI时代需显式建模状态空间、吸引子、轨迹与控制，以应对AI作为高频扰动源导致的架构漂移。