构建无界面的AI助手：延迟即个性，确认必须证明理解

构建dexi，一个驻留在iMessage中的助手，没有应用，整个界面就是一条短信线程。其中一个提示设计问题值得分享，因为当你的唯一界面是消息时，这一点并不明显：你不能显示加载动画或流式输出令牌。只有沉默，然后回复。任何超过约10秒的延迟都会被视为被忽略，用户会重新开始输入，导致对话分叉。因此你必须快速确认。陷阱：一个通用的“正在处理！”会立刻显得像个机器人，破坏信任。有效的方法是双模型模式。一个快速廉价的通道提取意图并生成确认，其中包含来自用户消息的实际细节（“正在查看你的American Express上的3个订阅”），然后慢速昂贵的通道执行实际工作。确认必须证明它理解了，而不仅仅是收到了。这个约束使得整个过程看起来不那么机械，即使慢速路径很慢。第二个教训是关于无界面的可发现性：用户看不到能力，入门提示被忽略。只有在用户的请求几乎匹配相邻功能时，才在上下文中显示“我还可以做X”，这比任何帮助消息的转化效果都好。第三，回复长度在这里是一个提示问题，而在聊天窗口中则不然。没有人会阅读六段文字。我将输出上限远低于模型想要的，而这种修剪是真正的提示工作，模型全程都在对抗你。好奇其他人如何处理用户在中途再次输入导致的分叉。是排队第二条消息、中断第一个任务，还是将它们合并为一个意图？我选择合并，这是我拥有过的最丑陋的代码。