AI代理的按需人类判断

最近一直在思考这个问题。AI代理在机械性任务上已经变得非常出色——搜索、调用API、编写代码、执行多步骤计划。但它们仍然面临两个无论规模如何扩展都无法解决的问题：1. 它们会遇到决策点，其中'正确答案'是判断性问题，而非逻辑问题。这封邮件的语气是否过于激进？这三个着陆页标题中哪个真正有效？这个用户界面在普通人看来是否可疑？模型对这些事情有先验知识，但它们的先验是互联网的平均值，而不是你的实际用户。2. 除非花一周时间招募人员、构建调查、支付小组费用等，否则你无法对任何主观内容进行评估。因此，大多数团队干脆不做评估，仅凭感觉发布。我构建了一个MCP服务器来解决这两个问题。AI代理遇到分叉路口时，调用带有问题和受众的工具（例如'美国女性25-34岁'或'使用过Cursor的开发者'），并在几秒钟内获得真实的人类反馈。不是合成的。不是Mturk的墓地。真实的人几秒钟内回复。上周的一个例子——有人将它接入一个生成营销文案变体的Claude Code代理。代理没有自己选择'最佳'版本，而是将4个版本发送给目标细分市场的200人，获取偏好数据，然后才提交。同样的原语也适用于评估生成。想要一个500人的基准测试来评估你的代理输出是否值得信赖？一次工具调用即可。总之——好奇是否有人也在为AI代理做人在回路中的事情，以及如何做？我看到的大多数要么是缓慢的HITL，要么是纯LLM评判（便宜但循环）。