构建一个能打真实电话的AI代理（包含等待音乐、IVR、愤怒的人类）——截至目前我学到的经验

我构建了callitdone.today。它是一个为你拨打电话的工具，不是发短信，也不是语音留言，而是真实的语音通话——能够导航菜单、等待通话，并代表你与人交谈。动机很简单：我讨厌打客服电话。我讨厌听着同一段两小节的背景音乐等上二十分钟。同时，我的一些小企业客户需要预约和解决账单纠纷，但他们宁愿做其他任何事情。所以我构建了一个代理，它拨号、解析IVR提示、等待音乐（它会监听静音与等待音乐的区别），然后要么与人通话，要么留言。如果遇到无法处理的障碍，比如我没有预设的菜单选项，或者说话快、口音影响语音识别的人类，它会诚实地承认：“我是AI助手，遇到了问题，我会转接给人工或重新安排通话。”它不会虚张声势。这是为谁准备的？讨厌打电话和等待的人，或者希望由代理处理常规电话（预约、账户问题、订单状态）的小企业主。目前仅支持美国电话号码，短期内不会改变——国际电话涉及不同的信令、法规和语言覆盖，我还没准备好应对。架构方面，它由以下组成：一个网页前端用于描述通话目标（纯英文），一个后端调用Twilio语音API拨号，一个语音转文字+文字转语音管道，以及一个小型LLM微调模型，用于保持脚本但处理常见变化。最难的部分不是AI，而是处理不可预测的等待时间、“按1选择英语”菜单未按预期路径执行的情况，以及偶尔发现自己在和机器人通话而愤怒的人类。我经历过代理成功预约牙医的电话，也经历过它卡在“按3重复此菜单”的循环中。诚实的经验教训：1）如果让LLM生成下一句回答，幻觉是一个真正的问题 —— 我改用基于模板 + 插槽填充的方法来处理核心交互。2）等待音乐检测比听起来更难 —— 有些公司使用静音，有些在曲目之间插入广播广告。3）用户非常希望代理听起来像他们自己，但这需要语音克隆，涉及法律和伦理雷区，我暂时不会碰。非常希望听到你们在构建真实电话语音代理时遇到的其他问题，特别是IVR映射部分，感觉像是一个未解决的混乱。我会按子版块规则在评论中放链接。