我把一个具有持久记忆和工具访问权限的智能体放进了实体机器人身体里。有趣的问题并不是我预料到的那些。

我见过的大多数智能体项目都是文本进、文本出。我花了几个月时间把一个智能体放进了一个手掌大小的桌面机器人里，它有舵机手臂、摄像头和IMU。真正出问题的并不是我原本预料的那些。这个智能体实际拥有：跨重启的持久记忆，分为会话记录、一个它自己写入的长期事实文件，以及一份用户画像。工具访问权限，包括智能家居控制。还有一个共享会话，所以我口头进行的对话和用键盘进行的对话是同一个对话。我口头说“我左边的台灯叫Gerald”，然后打字问那盏台灯叫什么，它会回答Gerald。我学到的四件事，我认为它们也适用于机器人之外的场景。反射必须完全绕过智能体。任何经过模型调用的东西都会让人感觉死气沉沉，无论模型多快。挥手回应是一个300ms的反射，基于设备端视觉，回路中没有其他任何东西。智能体甚至根本不知道这件事发生过。将反射与思考分离是项目中最大的一次单项质量提升。记忆会积累矛盾，而且运行时间越长就越严重。几周之后，我的记忆文件里就全是冗余的事实，接着是直接相互冲突的事实。我最终运行了一个定期的整合任务，把整个记忆交给一个更强的模型，让它进行调和与压缩。没有它，质量会以你察觉不到的方式退化，等你发现时已经很糟糕了。一个有38个工具的智能体会不断地拿错工具。我不得不明确告诉它，除非被要求，否则不要碰终端、文件或网页工具，智能家居工具除外。能力从来不是限制，克制才是。时机胜过智能。身体动作由模型自己句子中内联写入的标签触发，所以一个手势会落在准确的词语上，而不是在句子结束后才出现。这比我尝试过的任何模型升级都更能提升它给人的智能感。有一个值得直说的限制：对话层在云端，而不是本地。我在板子上尝试了较小的本地模型，但延迟毁了体验。如果你们对记忆整合或反射/智能体拆分感兴趣，我很乐意深入聊聊。