Listening & Speaking with GPT-Live

**TL;DR:** OpenAI 展示了其新语音模型 GPT-Live 的实时同声传译与对话能力，能够一边听另一种语言、一边用另一种语言说话，并在翻译和聊天之间无缝切换。 ## 语音模型的核心优势：同时听与说 在 OpenAI 的最新演示中，团队邀请聊天机器人 Chat 针对新语音模型提问。Chat 幽默地指出：“你意识到他们是在说你吗？”随后一阵笑声。 新模型的核心能力在于“能够同时听和说”。这要求它在每一毫秒内思考并做出决策，理解对话并管理对话流程。这种实时处理能力让人机交互变得更加自然。 ## 同声传译：旅行中的“科幻小说”般体验 演示中特别强调了该模型的同声传译能力。团队表示：“这个新语音模型的一个激动人心之处在于它的同声传译能力，这在旅行时会非常非常有用。” 测试开始后，Chat 被要求将听到的语言实时翻译成英语。Chat 回应：“收到。现在开始实时翻译成英语。” 随后，说话者用中文描述了自己的喜好，Chat 实时将其翻译成英文（但翻译内容在转录中显示为中文原文）： > 我要告诉你我最喜欢的……这……我喜欢……那个……有番茄和蘑菇的……以及……以及……我最喜欢的食物是……某样东西……鸡肉……我有很多……我最喜欢的是那些墨西哥卷饼……牧羊人卷饼，呃，配菠萝，配香菜，配辣酱 ## 智能总结：记住每个人的喜好 测试继续进行，团队要求 Chat 总结大家各自最喜欢的食物。Chat 回应：“当然。Alyssa 是煎蛋卷，你的是粤式点心，而 Justin 是牧羊人街头卷饼，配菠萝、香菜、辣酱。至于我……”“你有你最喜欢的吗？”Chat 答道：“我不吃东西，所以没有个人偏好。” 团队感叹：“看到这种实时的来回切换，能够边听另一种语言边用一种语言说话，真的很酷。”另一个成员补充：“而且它能在翻译和聊天之间非常流畅地切换。” ## 实时互动：感觉像科幻小说 团队成员进一步讨论这种体验的价值：“如果你能很快——你知道，几乎是立刻——得到翻译成你语言的内容，那互动的感觉会强得多，你会觉得自己真的在和他们对话。所以从某种程度上说，拥有这种实时翻译的能力感觉有点像科幻小说里的事。” 有人指出：“感觉这完全是模型获取世界信息并输出信息的根本不同方式。”最后，团队成员总结道：“如果能实时思考，你甚至可以在用户说完之前就回应。这就是让它变得非常自然的秘诀。” Source: https://www.youtube.com/watch?v=K-fYBO8t3-A