我们不断给智能体添加“技能”,却不知道哪些技能真正有效。这是已解决的问题吗?

Reddit r/AI_Agents 新闻

摘要

一位内部开发者平台的产品经理指出,追踪哪些AI智能体技能被实际调用且有效是一项挑战,并向社区询问是否有现有工具或解决方案来解决这一可观测性问题。

我是一名内部开发者平台(IDP)的产品经理。我们一直在将AI智能体构建到产品中:例如,一个负责引导新开发者接入服务的智能体,或者一个帮助调试错误配置的智能体。在幕后,这些智能体会调用我们编写的一系列“技能”——针对特定任务的可复用模块(一个入职技能、一个针对特定解决方案的技能,等等)。我们还在不断编写更多技能。问题在于:我完全无法了解这些技能是否真的有效。我不知道智能体实际调用了哪些技能、调用频率如何,也不清楚那些被触发的技能是在帮助用户还是仅仅增加噪音。我们编写一个技能,发布,然后就完了——不知道它是否在发挥作用,还是成了智能体永远不会触及的僵尸代码。在我自己动手构建之前想问一下:这是一个已有工具解决的已知问题,还是大家都同样盲目?你们如何追踪智能体的技能是否真正有用?
查看原文

相似文章