一个 144M 的模型做出了我大部分村民的选择，Gemma 4 e4b 只在出问题时才介入（6 GB 笔记本 GPU）

我搭了一个小型村庄模拟，8 个村民一起度过一天，我想看看如果每个模型只负责一件事，小模型能走多远。gut 是 julia-1，来自 supersonic labs 的 144M 参数模型，使用 ggml-org 的 gguf 格式。它跑在 CPU 上，完全不生成文本。世界把村民此刻在物理上能做的少数几个动作交给它，由它打分。它无法凭空发明动作，所以不会滑向角色扮演。记忆部分是 embeddinggemma，同样跑在 CPU 上。每次选择之前，它会拉取最相关的 3 个过往时刻：最近的、重要的，以及和当下相似的。慢思考者是跑在 6 GB 笔记本 GPU 上的 Gemma 4 e4b，只在 gut 不确定或村民遇到意外时才被调用，比如计划失败、有人受伤或道路被堵。让我意外的是，gut 很少感到不确定。在危机时刻，julia-1 的首选动作通常占 0.81 到 0.90 的概率。所以 Gemma 多数时候被调用是因为出了状况，而不是 julia 犹豫不决。julia-1 是零样本使用的，我从未训练或微调过它。村民仍然会学习，因为到了晚上，Gemma 会把有效的做法总结成一条简短规则（最多 22 个词，每个村民 5 条），下次摆在模型面前。在一次滑坡中，一条相关规则把 Arun 出门去接邻居的概率从 0.0002 提到了 0.638，而一条无关规则则毫无影响。如果你想做类似的打分器，有两个提醒。措辞影响很大：「过桥到对岸带回食物」只得到 0.2%，而同样的行程写成「过桥去到好农田，带回满满一篮子」则得到 53% 到 90%。另外，我抽查时发现从邻居那里借来的规则很少被用上。真正起作用的是从自己的错误中学习：在 15 次伴随落石的山谷周期里，只用记忆时每个山谷的受伤数是 2.73，加入学习后降到了 0.53。完整文章（我写的）：https://x.com/aksssrao/status/2117264537598800067