Infra 和 AI

我其实不太想写 “AI infra” 这个词，听起来像是把计算、存储、网络三板斧重新包装了一遍。但最近用 Fable 5 蹬 cocoon / sandbox，确实让我觉得大人，时代变了。

很早我就想写关于开发 cocoonstack 的一些体会，跟 Opus 4.6~4.8 还有目前 Fable 5 的协同，如何保持项目推进的时候同时保持一定的品味，不至于做成 Openclaw 和头条某系统那种屎山，以及怎样 human in loop 。当然了，人懒嘛，就一直拖到现在，直到我基于 cocoon 又做了个新的项目 sandbox ，蹬了 Fable 5 几天了，正好聊聊我对 infra 和 ai 的看法。

首先我想讲一个故事，2012 年主流还是 Python 2.7，我当时在豆瓣平台组跟着教授做 DAE。豆瓣当年做了个啥事呢，就是绕开你们口中 Python 万恶至极的 GIL，靠着 Gevent 的 monkey patch 和我们自己搞的 greenify ，不管是 python 层还是 C 层（知道你们要吐槽隐式异步的 pros cons，但这里不是重点）。这时候我们对 redis 连接要做一个决定，到底是让它像 mysql 连接一样异步化还是保持同步（打不打 patch）。

最后结论就是不打 patch，其实理由很简单，维持 epoll 本身是有成本的，你别管哪层有个循环在一个个问 fd 你好了没，总之是有一个循环的对吧。MySQL 值得做是因为 DB op 开销大，IO wait 时间长，你一个请求 block 都是数十毫秒到数百毫秒，业务层这时候只能等你回复。Redis / Memcached 这种快如闪电，可能你黑魔法的开销已经大于就让 GIL 锁着同步请求了，纯纯的负优化。所以那个时候你看豆瓣的业务系统，能绕开 GIL 并发异步的全整了，就缓存还是传统的同步栈。

后来我面试别人的时候总喜欢问，你有几个重 IO 的 fd，告诉我不同情况下什么时候选择 select，什么时候选择 epoll，但很可惜从业这么多年就没几个人能讲好的，你总不能说 select 没用了是吧。

所以你要说 AI 越来越牛逼对基建狗冲击有没有嘛，是有一丢丢，但也不多。AI 对 infra 的冲击不是“不会写代码的人也能写 infra”，而是“会设计的人执行力被放大”。

Infra 铁饭碗的本质是 trade-off 和背锅，这恰好是 AI 不擅长的。有推油说 trade-off 也能用目标函数表示，但问题是目标函数本身是谁定的？延迟、成本、稳定性、可维护性、迁移风险、事故责任、团队能力，这些权重从来不是数学题，而是组织题，是人心，所以最后还得是 human in loop。目前御二家的模型可以感觉到在参数规模，后训练上肯定是做了大量优化，但这带来一个问题就是数据过于拟合。浅显的来说 token 的预测就像是贪心算法，大多数情况下对下一个 token 的预测是按概率高选，这是没毛病的，但遇到需要策略和 trade-off 的地方，贪心算法过于贪心反而不是太好的选择，因为凡事都是有代价的，我的朋友。

举个简单例子，你去翻 e2b.dev 或者 fly.io 的实现里面为了进程层面快速启动都用上了 UFFD 和 FUSE 懒载入，同样 github 上开源的 sandbox 或多或少为了所谓启动速度都用了类似的手段，那么代价是什么呢？我在做 cocoon / sandbox 就遇到了给 cloud-hypervisor restore 的时候用 UFFD 导致 windows 重载的时候从 freeze 到可用非常的慢。虽然你看着进程好像 biu 的一声启动了，设备层模拟得贼快，但你系统不可用啊，那这种快又有啥意义呢对吧。

看上去 CH 的 restore 从大概 150ms 级降到了 70~80ms，然后系统恢复时间从 1s 直接到了 7s。根据你 OS 的不同，Linux 行为和 Windows 又不一样，大内存机器和小内存机器也不一样，这就意味着在设计和实现 clone/restore 的时候要做 trade-off 了。即便是强如 Fable，也做得不太好，依然需要输入。

毕竟你一个模型才吃了多少屎嘛哈哈哈哈哈，我们老机架可吃多了。

但在另外一个方面，执行和定点分析，那我得说模型进化确实肉眼可见的提升，用得好可以很好的扩充你能力的范围，快速实现很多你以前只想但懒得做的事。

Opus 4.6 ~ Opus 4.8 大概是头条 1-2 到 2-2 弱的这么一个过程，目前国产 Qwen 27B 也差不多有个 1-2 强的水平，cocoon 后期主要是 Opus 修修补补，就还是有点费神。但你这个 Fable 5 就真是 xhigh 一开 3-1 的执行者上线。就像 sandbox 这个项目，go/python 我熟，让它提取我的代码习惯后每一轮提交都自行 check 写出来还挺工整的。当然我肯定不会说 100% 完美，至少可读性是有的，功能也完备，测试也齐全，rust 我经验不多，略看了一眼也是四平八稳。说真的，你要我自己搞，没个十天半个月根本不可能做这么多。而我仅仅是贡献了详细的设计，我自己吃屎的经验，以及我代码习惯……

这又回到了上一篇我讲的，老鸟真的很狂欢，但也终将凋零。铁饭碗虽然是铁饭碗，就怕以后只有饭碗没有人了，还说啥呢，赶紧蹬 Fable 实现儿时的梦想吧哈哈哈。