我们不断给智能体添加“技能”，却不知道哪些技能真正有效。这是已解决的问题吗？

Reddit r/AI_Agents 新闻
ai-agents observability developer-tools monitoring internal-developer-platform skills

摘要

一位内部开发者平台的产品经理指出，追踪哪些AI智能体技能被实际调用且有效是一项挑战，并向社区询问是否有现有工具或解决方案来解决这一可观测性问题。

我是一名内部开发者平台（IDP）的产品经理。我们一直在将AI智能体构建到产品中：例如，一个负责引导新开发者接入服务的智能体，或者一个帮助调试错误配置的智能体。在幕后，这些智能体会调用我们编写的一系列“技能”——针对特定任务的可复用模块（一个入职技能、一个针对特定解决方案的技能，等等）。我们还在不断编写更多技能。问题在于：我完全无法了解这些技能是否真的有效。我不知道智能体实际调用了哪些技能、调用频率如何，也不清楚那些被触发的技能是在帮助用户还是仅仅增加噪音。我们编写一个技能，发布，然后就完了——不知道它是否在发挥作用，还是成了智能体永远不会触及的僵尸代码。在我自己动手构建之前想问一下：这是一个已有工具解决的已知问题，还是大家都同样盲目？你们如何追踪智能体的技能是否真正有用？
查看原文

相似文章

你用什么进行可观测性？

Reddit r/LocalLLaMA

一位开发者讨论了AI代理缺乏合适的可观测性工具，对现有解决方案如Opik表示失望，并希望有一个支持OpenTelemetry的服务，用于分析代理会话和故障模式。