What does the OpenInference code donation mean for AI tracing?

@arizeai’s @mikeldking and OTel contributor @ne_skazu discuss open source collaboration and GenAI semantic conventions on @Dynatrace’s Observation Deck.

Watch the episode: https://t.co/0hta6QY11d

TL;DR：Arize 将 OpenInference 捐赠给 OpenTelemetry，标志着 GenAI 可观测性从各家自建语义约定走向厂商中立标准的关键一步。

OpenInference 捐赠给 OpenTelemetry：AI 追踪会发生什么？

这是 Dynatrace 直播系列节目「Observation Deck」的一期特别对话。主持人 Adriana Villela（来自加拿大多伦多）和 Katharina Sick（今天在奥地利林茨）邀请了捐赠方与接收方两位嘉宾，从双方视角拆解这次捐赠背后的故事。

嘉宾分别是来自 Arize 的 Mickey King——OpenInference 背后的公司产品负责人；以及来自 OpenTelemetry 一侧、深度参与接收工作的 Ludmila Molkova。用 Katharina 的话说，当你听到「捐赠」这个词时，从高层面上听起来很简单，但背后一定有很多故事。

开源社区近况

Adriana 刚从布拉格回来，那里举办了欧洲第一届可观测性峰会（Observability Summit Europe），非常令人兴奋。现场有很多 OTel 的维护者和从业者，让她有机会与平时共事的伙伴面对面交流、在社交活动中聚一聚——这类事通常只有在 KubeCon 上才可能发生，但去过 KubeCon 的人都知道那是一个非常忙碌的活动，大家都没时间聊天。同一周她还参加了同在布拉格的欧洲开源峰会，氛围很不一样，那是更广泛的开源社区。接下来她还要飞往爱丁堡，开始一个三个国家、多场演讲的巡回之旅。

Katharina 参加了本地的 Cloud Native Days，认识了不少新朋友。她目前在家带小宝宝，不怎么出差，正在做一些云原生相关的内容，以及一些和 Advent of Code 相关的东西——整理一套小的云原生项目。Adriana 评价说，其中涉及的一些 CNCF 项目比较鲜为人知，是学习云原生新东西的好机会。Katharina 的体会是：动手实践是最有效的学习方式。

嘉宾介绍

Mickey King 是一位经验丰富的产品人，发布过很多产品、搭建过社区，并说服社区成员加入并关注 Arize。他致力于 AI 和平台工作，也是某个知名项目的创始团队成员。在屏幕之外，他是个山地自行车手——无论私人生活还是工作，他都真的在「高处」。主持人还打趣说，既然他是攀岩者，那一定要聊聊抱石。

Ludmila Molkova 对 OpenTelemetry 了如指掌：她是 OpenTelemetry 技术委员会成员，也是语义约定（semantic conventions）的维护者。用主持人的话说，如果你曾经好奇是谁决定你的遥测数据应该长什么样，她就是幕后的人之一。此前她在 Microsoft 负责 Azure 客户端库的可观测性工作，帮助在 .NET 生态系统中构建分布式追踪，并为此写了一本书——《Modern Distributed Tracing in .NET》。如今她是 Google 的高级软件工程师，深入参与 OpenTelemetry 的 GenAI 工作。

OTel 的 GenAI 插桩 SIG 是做什么的

Ludmila 介绍，这目前是 OpenTelemetry 中一个相对大型的工作项目，目标首先是定义语义约定，并为社区提供一套中立于厂商的插桩（instrumentation）方案。这些插桩更多被视为参考实现，而最核心的关注点是在整个行业内建立统一标准。

这个领域过去很难统一：可能有三、四、五，甚至 25 种不同的方式来发出遥测数据。而现在正在趋向于大约两三种方式，OpenTelemetry 格式越来越受欢迎。SIG 的工作路径是：找出可以统一和标准化的内容，将其纳入正式规范，帮助人们实现它，然后再衡量人们的遵循程度。

用她的话总结：本质上，我们在这里就是要从遥测的角度来理清这个混乱的 AI 世界。

语义约定的趋同速度

Adriana 插话说，她上周在布拉格做了一个关于 GenAI 语义约定趋同的演讲。当她和搭档刚开始准备时，GenAI 插桩的语义约定分歧还非常大——当时他们在看 OpenLLMetry 和 OpenInference。而当他们开始使用 GenAI 归一化器（用于帮助将其他框架的语义约定转换为 GenAI 语义约定）时，OpenLLMetry 已经在使用很多 GenAI 语义约定了；上周他们又发现 OpenInference 有一个开关，打开后就能符合 GenAI 规范。这个领域的变化速度确实惊人。

Ludmila 对此的解释是：分歧产生的原因之一是，在 AI 领域，初创公司和企业都在飞速发展。如果你在初创公司工作，或者在任何需要交付产品给用户的地方，你不能等共识形成，只能先交付、后趋同。所以最初出现 25 个版本，最后可能缩减到几个版本，而希望 OpenTelemetry 是其中最主流的那个——这也是她坐在这里的原因。Katharina 也表示赞同。

OpenInference 是什么，为什么叫这个名字

Mickey King 从头讲起：Arize 当时是一家初创公司，正在摸索如何让 AI 可观测，而那时还没有 GenAI 语义约定。他大约从 2022 年初开始做开源工作，就在开始后大约两个月，他们经历了 GPT-3 时刻。

追踪（tracing）立刻成为最重要的事情之一，因为大语言模型虽然非常强大，但在输入上下文窗口的内容方面非常不可靠。他们承认大语言模型有很多不同的失败模式，不仅包括 LLM 调用本身，还包括在内容被塞入上下文窗口之前发生的检索步骤。

最初他们没有选择 OTel，因为感觉那可能不太合适——那更像是 DevOps 的东西。但大约两个月之后，他们展望未来，意识到 AI 智能体将会是分布式的，它们会跨越网络边界、跨越基础设施和编程语言。他们开始与使用 Ruby 并希望使用 Arize 平台的人交流，于是很自然地决定围绕大语言模型构建一套追踪能力。OTel 在 Mickey 在 Apple 的时候就是一个巨大的助力，在 Arize 作为初创公司试图为应用引入可观测性时也是如此。

他坦承，在某种程度上他们与 Ludmila 所做的工作有所重复。之所以如此投入 OpenInference，是因为 AI 的发展速度太快——OpenInference 是他们探索「推理模型出现」或「OpenAI 推出 Responses API」时会是什么样的方式，它让 Arize 能以非常快的速度为用户和客户提供价值。所以他们的努力更多集中在插桩方面，而不是语义方面。Mickey 认为，OpenInference 是让 OTel 的趋同在初期不那么模糊的项目之一，也是让 OTel 成为观察智能体的良好媒介的项目之一。

AI 世界是否放慢了脚步，好让大家趋同？

面对这个问题，Mickey 认为这是一个有趣的话题。智能体现在正在作为服务运行了，所以从厂商那里获取这些信号变得更加重要。他对 LiteLLM、LangChain 等以及许多正在发生的趋同给予了极大的赞誉，认为这充分证明基础模型正在朝着那个方向发展。当然，蒸馏（distillation）是一个非常棘手的部分，所以他坦承可能没有得到如他所愿的完整图景，但至少在他看来，趋同于 OTel 的信号确实在形成。

为什么 Arize 决定捐赠

面对「是什么促使 Arize 做出捐赠，特别是考虑到之前有一次将 OpenLLMetry 捐赠给 OTel 的尝试失败了」这一问题，Mickey 给出了两方面的回答。

他团队的使命是让智能体和大语言模型可以被观测和评估，让人类以正确的方式使用 AI。而 OpenInference 的宏大目标与 OTel 的目标完全相同——让这些系统可以被观测和评估。从这个角度来看，Ludmila 的目标和他的目标在更高层面上是 100% 一致的。

OpenInference 本身就是一个开源项目。在讨论捐赠时，Mickey 基本上直接告诉 Ludmila：「请直接拿走代码吧，你们可以拿走。」但 CNCF 需要一种正式的捐赠和许可证移除流程，所以在捐赠方这边没有任何犹豫，因为目标是一致的——这真的是为了帮助用户。对他来说，以及对 Ludmila 来说，这些年来他们一直在讨论如何让 GenAI 发展得更快。OpenInference 的捐赠 100% 表达了 Arize 加快智能体遥测发展的承诺。

OpenTelemetry 一侧的考量

Ludmila 确认，从 OpenTelemetry 的角度看，这是毋庸置疑的：OTel 希望拥有一套可以确保厂商中立的插桩方案。因为 OpenTelemetry 相关公司的客户可能对依赖非中立于厂商的东西有所顾虑，他们希望对演进方向有发言权。

但 OTel 需要在某些东西之上构建，而拥有 OpenInference 的代码非常有帮助——「我们知道差距在哪里，我们知道如何解决。我们在此之前有了一个别人实际推动过的东西。」

她还特别提到，她很想知道 Arize 的开发流程是怎样的：如何快速切入新的 API、弄清楚它、做出决策而不犹豫「它有多好、能持续多久」，但同时又能做出非常好的的决策。在发言最后，Ludmila 也特别说明：不要把她看作是 OpenTelemetry GenAI 语义约定的主要推动者，她代表的是社区，有很多人付出了大量心血。

Source: https://www.youtube.com/watch?v=FSrw6Fnmj1Q