音频AR的崛起

# 音频增强现实的崛起 来源：https://www.dbreunig.com/2024/04/10/the_rise_of_audio_ar.html #### 无需视线转移，在恰当时机获取恰当信息 贾斯汀·林纳姆 - 仔细聆听（图片由贾斯汀·林纳姆提供 https://www.flickr.com/photos/sadmafioso/5801518272） 曾几何时，虚拟现实（VR）和增强现实（AR）被誉为*下一个风口*。 Meta公司全力押注，每年在Oculus研发上投入数十亿美元，并最终通过更名来彰显其战略重心。微软的Hololens引发热议，Magic Leap成为科技媒体和投资者的宠儿，索尼出货了数百万台PSVR设备，而苹果据传也在秘密研发重量级产品。 但这场炒作并未真正兑现。 Oculus尚未找到其杀手级应用，而苹果Vision Pro的用途也众说纷纭。随着ChatGPT问世，AI迅速成为*新的焦点*，将VR/AR挤到了次要位置。 就连Meta如今谈论LLaMA的次数似乎也超过了AR。 但悄然间，一种不同的AR形态的拼图已经就位：**音频增强现实（AAR）**。得益于智能耳机的普及、语音识别与生成技术的进步、AI语言模型的发展以及更完善的上下文数据，AAR正缓慢而坚定地渗入我们的日常生活。它将无需我们转移注意力，就能在恰当时机传递恰当信息。这是人机交互方式的一次重大变革，而且它的到来将比我们想象的更快。 --- Microsoft Soundscape #### 音频AR的先行者 音频AR的概念并非全新的。微软的[Soundscape](https://www.microsoft.com/en-us/research/product/soundscape/overview/)和四平方（FourSquare）的[MarsBot](https://location.foursquare.com/resources/blog/news/introducing-marsbot-for-airpods/)是早期尝试提供音频AR体验的两个案例。 微软的Soundscape主要作为视障人群的辅助工具开发。当用户穿行于城市中时，空间音效的提示会通知他们周围的兴趣点，从自助洗衣店到餐厅。它展示了利用空间音效和基于位置的提示来增强现实的潜力。然而，在密集的城市环境中，它会产生令人难以承受的嘈杂声。而在郊区，其信息又过于稀疏，实用性不强。 四平方的MarsBot采取了更个性化、数据驱动的方法。它利用四平方庞大的地点数据库、评分和评论，来预测并推荐用户可能感兴趣的地点。但MarsBot仅在像纽约市这样的高密度环境中表现出色。它是一次实验——一次对音频优先的AR应用意味着什么进行了[深刻思考](https://location.foursquare.com/resources/blog/news/introducing-marsbot-for-airpods/)的实验——但最终未能真正落地。它难以做到真正“被动”，需要用户投入过多注意力来过滤无关的提示。 这些应用以及类似的实验，奠定了重要基础，并表明音频AR的用途不止于简单的逐向导航。Soundscape展示了空间音效和基于位置的通知在导航方面的力量。MarsBot则率先使用了个性化数据，并尝试了更具人性化（human-friendly）的通知方式。但似乎只有像我这样非常特定的一小撮爱好者注意到了它们。这些想法沉寂了数年，等待着合适的技术条件成熟。 --- #### 赋能技术的到来 近年来出现的几项关键技术，催生了新一代的音频AR应用： 1. **智能无线耳机**：例如苹果的AirPods，已被广泛采用，将一种随时可用、解放双手的音频接口送入了许多人的耳中。它们提供高质量的声音，并让开发者能够访问一系列控制功能和传感器数据，从音量调节到头部动作，再到生物特征识别。内置麦克风和简单的控制使得触发语音助手和音频应用变得轻而易举。 2. **语音识别**：得益于降噪技术的改进、语言模型和边缘计算的发展，语音识别取得了巨大飞跃。与虚拟助手对话现在几乎像与人交谈一样自然。你可以随意和他们说话，无需刻意调整你的发音。语音转文本技术现已快速且准确，并且无需网络连接。 3. **语音合成**：文本转语音引擎现在能够生成具有逼真语调和节奏的类人语音。最新的模型在简短交流中已很难与真人区分。这使得动态内容的流畅生成成为可能。 4. **大语言模型**：能够进行开放式对话，回答后续问题，甚至代表用户执行操作。它们将不完美、不一致的语音指令转化为程序化操作，从而无需屏幕即可实现更复杂的交互界面。此外，大语言模型可用作决策引擎，决定何时、展示何种内容。 5. 丰富的**位置和上下文数据**：使音频AR应用能够深度理解用户的环境和当前状况。这包括详细的地点数据、实时天气和交通信息、日历和通讯数据等。如果没有这些数据，就不可能在精确的恰当时机提供正确的信息片段。 将所有这些整合起来，我们现在能够在用户日常活动中，为他们提供高度情境化和个性化的音频内容与交互。如今的挑战已从构建赋能技术，转向构建用户体验（UX）设计。 --- #### 需要解决的问题 **音频AR应用的核心用户体验挑战是在恰当时机提供恰当信息。** 过多的无关信息会令人不堪重负。信息过少则体验不佳。那个甜蜜点（sweet spot）窄得令人沮丧。 为了说明这一挑战，让我们首先以一个运作良好的音频AR应用和用例作为起点：语音导览。 根特 几周前，我前往比利时根特参加[开放地图基金会](https://overturemaps.org/)（Overture Maps Foundation）的会议（说到改善位置数据的获取...）。利用第一个早晨的空闲时间，我在[VoiceMap](https://voicemap.me/)上体验了[该城市的语音导览](https://voicemap.me/tour/ghent/hidden-ghent-walking-tour-a-guide-to-the-authentic-flemish-city-no-one-knows)。我不知道其他导览质量如何，但这个导览堪称完美。如此之好，以至于它暗示了音频AR的潜力。 VoiceMap的导览通过使用您手机的GPS来触发与特定航点关联的音频描述。当您行走时，旁白会温和地指引您下一步往哪里走，并提供下一段导览开始的地标。VoiceMap帮助创作者将其内容与特定路线片段同步，（在这种情况下）在您漫步时营造出一种轻松而无缝的体验。如果您停下来进入一家咖啡馆稍作休息，下一个提示不会触发，音频也会暂停。走出咖啡馆，内容又会继续播放。界面就是我的耳机和我的位置，仅此而已。 但是，借用游戏设计的一个术语，我是在[“轨道”上](https://en.wikipedia.org/wiki/Rail_shooter)（on rails）。 内容和提示之所以完美，是因为我已购买并启动了这个导览。VoiceMap知道我要去哪里以及我想要什么信息。对于根特的一小片区域，这是完美的音频AR体验。我开始思考，要用内容和提示覆盖整个城市，让我可以随意走到任何地方，需要付出多大的努力。但即便如此，如果我走在已经走过的路线上，或者就是不想被打扰一阵子，我也会关闭导览。即使内容覆盖全面，提示的触发也会很快变得复杂，不能仅依赖我的当前位置。一天中的时间、我的日历、我过去的位置历史——所有这些都将影响内容应如何呈现。 创造一种始终在线、能主动呈现相关信息的环境体验，是一个巨大的挑战。 导览结束后，我查了查MarsBot是否仍然可用。它已经下架了，但四平方的创始人、MarsBot的创造者丹尼斯·克劳利（Denis Crowley）通过一家名为BeeBot的新公司再次尝试。BeeBot利用大语言模型来辅助内容创作，并确定何时推送音频通知。克劳利最近接受了亚历克斯·坎特罗维茨（Alex Kantrowitz）的[大型科技播客](https://www.theverge.com/2024/2/21/24079504/foursquare-founder-is-building-a-new-app-that-broadcasts-location-reliant-info-into-your-airpods)的采访。 与MarsBot和Soundscape一样，克劳利在BeeBot上的方法是向用户“推送”内容。这无疑是音频AR的*困难模式*。你不仅要弄清楚推送什么内容，还得弄清楚何时推送。 而Meta在进军音频AR时，采取了相反的方法。 --- Meta & Ray Ban's Wayfarer（Meta与雷朋Wayfarer）（图片由Phil Nickinson为Digital Trends拍摄 https://www.digitaltrends.com/computing/ray-ban-meta-glasses-v2-update/） #### 窥见未来 Meta的Wayfarer太阳镜也许是目前市场上最好的音频AR产品。它将赋能技术——智能耳机、语音识别与合成、大语言模型和上下文数据——整合进了一个单一、连贯的产品中。 尽管如此，它们似乎有些低调。在我拥有自己的一副之前，我认识的人里只有一个在用……而且那人在Meta工作。如果你像我一样，不熟悉Meta的Wayfarer，这里简单介绍一下。它们看起来和雷朋经典的Wayfarer眼镜几乎一模一样，只是镜腿稍微粗一点。它们内置的扬声器能很好地传递空间音效，确保只有你能听到；没有低音效果，但用于语音内容很棒。它们配备摄像头，可以拍摄第一视角的照片和短视频。如果你加入[测试计划](https://www.meta.com/help/smart-glasses/articles/voice-controls/early-access-program-ray-ban-meta-smart-glasses/)，就可以访问Meta的多模态语音AI。如果你想知道关于你正看着的东西的更多信息，只需说“嘿，Meta”，然后提问即可。 当然，它仍有不足之处。助手拒绝回答许多类型的问题，有时还会出错。界面是“不可见”的，迫使用户进行反复试验。 尽管如此，Meta的Wayfarer仍然成功，因为它采用了“拉取”（pull）用户体验模式：用户必须明确请求信息。何时推送内容的猜测被消除了；对于一个缺陷仍然非常明显的产品（因此有测试计划）来说，这是一个受欢迎的设计决定。上下文数据仍然用于辅助助手的回应——结合用户的位置和摄像头的视野——但用户控制着交互的时机。 当一切顺利时，Meta的Wayfarer让人得以一窥未来。 --- Starting an Apple workout（开始一项Apple健身运动）（图片由Trusted Reviews提供 https://www.trustedreviews.com/reviews/apple-watch-8） #### 聚焦于特定上下文会话 有一种混合的用户体验设计值得考虑：聚焦于用户主动参与的特定上下文中的会话。在此期间，应用可以放心地推送相关内容。苹果的健身应用很好地运用了这一设计模式。 如果你在使用健身应用时戴著一只AirPod，你会收到配速信息、心率反馈等。在骑行时，健身应用会将通知推送到一只耳机，让我可以把手机留在包里。通过参与特定的上下文，推送的通知都是相关的。用户体验的接触面有限，从而可以实现更可控的体验。 除了健身，这种模式对于许多用户选择加入的特定上下文会话都能很好地工作。VoiceMap可以为整个城市生成内容，并允许用户进入“探索模式”，邀请应用频繁推送内容。一个烹饪应用可以在食谱会话开始后，推送操作步骤并设置计时器。一个购物应用可以在用户拿起商品时提供产品排名和评论，只要购物会话已经开始。 聚焦于用户积极参与的上下文，是逐步解决音频AR核心用户体验问题的好方法。应用可以在用户开启功能后尽情推送，但仅限于用户主动开启时。开发者可以专注于获取和考虑特定的上下文数据，以及有限的通知触发条件。 --- #### 主流化所需的条件 要充分发挥音频AR的潜力，我们需要构建工具并获取数据，将我们的上下文转化为一个隐形的界面。 在上面讨论的三个例子中——VoiceMap、Meta的Wayfarer和苹果健身应用——我们既看到了音频AR的潜力，也看到了它面临的挑战。每个产品都有其笨拙之处，但它们的绊脚石往往与获取上下文数据有关。 如果你脱离了VoiceMap导览的预设轨道，应用就无话可说。它对世界的了解仅限于导览创作者准备的路径；它无法帮助你探索。 Meta的Wayfarer无法回答任何关于我的日历或消息的问题，因为它没有访问这些数据的权限。而Siri*可以*访问这些东西，却无法从眼镜上唤起。 苹果健身应用不会建议我如果马上有会议就该回家，或者快要下雨了。数据是存在的，但健身应用所关心的上下文领域仅限于我的锻炼。 感觉我们像是回到了Web 2.0时代的初期，那时还处于允许我们的工具彼此对话的“API寒武纪大爆发”之前。语音助手界面呈现出强大的能力，但一旦需要来自另一个平台的东西，它们就卡壳了。 为了让音频AR在特定上下文会话之外起飞，我们需要用于与耳机交互、共享上下文信息以及调用语音助手的开放标准。苹果最近更新的AirPods API和安卓的Awareness API是朝着正确方向迈出的步伐，但我们距离理想的基石还很遥远。（希望反垄断的担忧能推动更好的习惯……） 在达到这个稳定的基础之前，我们将在特定的上下文会话中，逐步解决音频AR的用户体验问题——在恰当时机提供恰当信息。 --- Ving Rhames in Mission Impossible, the man in the chair（文·瑞姆斯在《碟中谍》中，扮演幕后指挥） #### 我们的“幕后指挥” 科技行业有一个习惯：当新技术应用有了扎实的流行文化参照时，就会全力支持。*《头号玩家》*作为Meta VR定位的参照物，其价值远超过它作为一部电影本身。以*《少数派报告》*或*《黑暗骑士》*为参照来推销大数据或商业智能产品的大公司，多得数不清。 随着ChatGPT问世，AI正迎来它的高光时刻，科技行业大量借鉴*《她》*（Her）来生动描绘对话式AI的愿景。虽然这似乎与音频AR很契合，但我认为我们可以做得更好。 人们并不想要与AI助手建立对话式关系。人们想要的是一个“幕后指挥”（guy in the chair）。 也许“幕后指挥”这一原型的最佳范例是文·瑞姆斯（Ving Rhames）在*《碟中谍》*系列中饰演的卢瑟·斯蒂克尔（Luther Stickell）。卢瑟是那个留在基地的技术人员，监控团队的进展，并提供他们成功所需的信息。他是那个能看到全局、能指引主角走向成功的人。他就是那个能在恰当时机提供恰当信息，而主角无需从手头任务上移开视线的人。 *《她》*中的助手是个特例。“幕后指挥”这一原型在我们的媒体中是恒定且普遍存在的。它出现在*《碟中谍》*、*《黑客帝国》*、*《阿波罗13号》*、*《火星救援》*以及*《蝙蝠侠》*、*《蜘蛛侠》*和*《复仇者联盟》*系列中。在电子游戏中，它是标配，对*《合金装备》*、*《传送门》*、*《半条命》*和*《质量效应》*的设计至关重要。