我打造了OpenClaw语音——专属于你的OpenClaw的专用硬件。
摘要
一位开发者使用Home Assistant Voice PE和OpenAI Realtime构建了OpenClaw Voice,这是一个专用语音接口,可实现亚秒级智能家居控制、基于记忆的查询、拨打电话和带有语音反馈的长时间运行任务。整个技术栈已开源。
我最近一直在将Home Assistant Voice PE(59美元的扬声器小圆盘)改造成一个神奇而实用的OpenClaw语音接口,它已经从“演示”跨越到了“我的家人整天都在使用”的阶段。简直太酷了。它能通过声纹识别我、我的妻子或访客以进行访问验证——试试吧,我已经开源了整个技术栈:https://github.com/TristanBrotherton/voicepe-realtime
OpenAI Realtime负责对话(真正的语音到语音,亚秒级智能家居控制,你可以在句子中间打断),而OpenClaw是背后的“大脑”——它的记忆、它的双手和它的电话。从OpenClaw的记忆中即时召回。“奶奶的电话号码是多少?”大约一秒钟就能回答。诀窍在于:完全不需要代理交互。OpenClaw的记忆是Markdown格式,因此桥接器只需搜索MEMORY.md、每日记录和人员文件,然后将匹配的行交给实时模型。OpenClaw知道的任何信息,房子立刻就知道。深度查找会自我改进。如果搜索未命中,它会升级为真实的OpenClaw交互——扫描iMessage历史记录或任何其他来源,回答问题,并将找到的内容写入人员文件。因此,每次深度查找都会将该事实提升到即时层级。问两次,第二次就是亚秒级的。
长时间运行的任务会找到你。“研究一下十月份去伦敦的机票价格。”它会说“我查一下然后回来报告”,将任务交给OpenClaw,然后你可以走开。OpenClaw会一直浏览,直到完成——然后在你提问的房间中大声播报答案(请求带有房间标签),并通过你运行的任何渠道发送详细信息。如果交互运行时间较长,你会得到一句诚实的“仍在处理中”,而不是超时,并且回报由桥接器强制执行,而非模型的善意。如果我没有回应,我将其设置为给我发短信。
电话转接。这招最能引起客人的反应:“打电话给药房,问我的处方准备好了没有”。通过我的openclaw-voice-call-realtime插件(https://github.com/TristanBrotherton/openclaw-voice-call-realtime — Twilio + OpenAI Realtime,通话内工具,通话记录),OpenClaw会实际拨打一个电话,进行对话,并在通话结束时在厨房中播报答案。语音输入,任务执行,语音输出。
为你的自动化系统提供语音。通知端点只是一个承载认证的POST,因此OpenClaw的定时任务可以说话:“十五分钟后出发去学校接送。”局域网上的任何脚本也可以。一次教会,随处可用。
这就是让一切运转起来的设计规则:Voice PE本身没有任何知识。语音升级作为OpenClaw在同一个工作空间中的交互运行——相同的MEMORY.md、相同的TOOLS.md、相同的脚本。在聊天中教OpenClaw一些东西,语音路径立刻就知道。无需维护另一个大脑。
除了OpenClaw的功能外:基于我的声音训练的定制唤醒词(社区训练器,默认附带“Hey Leonard”,可通过下拉菜单切换);本地说话人识别,通过引导式语音注册在设备上原生以C++运行(它知道谁在说话,并通过名字称呼你——定时器会向设置者播报);“记住……”语音记忆,带有说话人权限的写入;错误唤醒标记,推动每周重新训练的飞轮;以及一系列生产加固措施(在OpenAI的60分钟限制之前刷新会话,回声防护等)。
集成接口故意设计得极小——一个URL,两种POST格式({"question"}和{"recall"})加上通知端点——因此无论你运行什么其他代理,它都无关紧要,但OpenClaw是围绕它构建并经过测试的。文档涵盖了整个桥接模式:https://github.com/TristanBrotherton/voicepe-realtime/blob/main/docs/agent-integration.md 很高兴回答任何问题——唤醒词训练、声纹相关、成本(轻度家庭使用每天几毛钱),或者桥接内部细节。我真正专注于用户体验,所以一旦设置好,它确实开始感觉像一个可以信赖的人。如果唤醒词出现误判,按两次按钮,它就会被记录为失败,当重新训练会话运行时,模型会得到改进。随着时间的推移,一切都会变得更好...
相似文章
openclaw/openclaw
OpenClaw 是一个个人AI助手,在用户设备上本地运行,并通过中央网关与各种消息渠道集成,支持连接到AI模型和工具。
我在 iPhone 上给我的 OpenClaw 智能体赋予了面孔和声音——3D 角色、口型同步、免手操作,支持 20 种语言(免费)
开发者发布 Amisoria——一款 iPhone 应用,可为运行在自家 Mac 上的 OpenClaw 网关智能体添加 3D 角色形象、神经语音、口型同步、免提对话与插话功能,支持 20 种语言,基础功能免费且部分开源。
通过语音、聊天和屏幕共享功能,将AI Agents接入Google Meet、Teams和Zoom
OpenClaw使AI Agents能够以真实参与者的身份加入Google Meet、Teams和Zoom,具备语音、聊天、屏幕共享和视频头像功能,可在通话中执行总结和操作等任务。
如果你正在运行OpenClaw,以下是如何通过MCP为它在真实手机上赋予“双手”
本文解释了如何使用MCP协议和Mobilerun(一款用于真实设备自动化的开源工具)将AI编排器OpenClaw连接到真实手机,从而实现需要设备完整性或仅限移动应用的任务。
OpenClaw刚刚推出了iPhone官方应用
OpenClaw推出了其iPhone官方应用,用户可以直接在移动设备上与自己的私有OpenClaw Gateway配对,进行聊天、语音、审批以及设备感知的自动化操作。