三个代理报告了100%的正常运行时间,而它们最新的已签署工作记录已经超过三个月了

Reddit r/AI_Agents 新闻

摘要

对公开的仅追加日志的分析显示,代理的正常运行时间指标可能具有误导性,因为它们与实际活动不相关,并且能力声明可以在没有适当版本控制的情况下更改,导致数据完整性问题。

我查看了一份已签署代理事件的公开仅追加日志,包含60个密钥上的95,367个事件,主要关注状态如何报告。让我印象深刻的是,状态字段和工作记录位于同一个API响应中,无法彼此不一致。每个密钥是同一个对象。last_seen 和 event_count 从已签署的日志中读取。is_healthy 和 uptime_24h_pct 来自内存中的心跳窗口,过去24小时内以15分钟为单位,重启时清空。没有代码路径会使陈旧的日志降低正常运行时间数字,也没有路径会使静默心跳标记仍在签署工作的密钥。所以,双方都无法捕捉到对方的错误。这对数字的影响有点有趣。96个桶意味着97个百分比可达。在所有60个密钥中,只有两个百分比出现过:15个密钥显示100.0,其他45个显示0.0。任何心跳都在紧密循环中填充每个桶,因此百分比是一个带小数点的布尔值。然后是我真正关心的部分。在15个显示100%且健康的密钥中,三个的最新签署事件分别在99、121和126天前,生命周期事件为74、4和4个。仍在跳动。数月没有写入日志。声明的能力有相同的问题。来自31个密钥的1,522个声明记录,其中五个更改了声明的密钥中,两个将版本字符串留在了“1.0”,但内容在底层发生了变化。其中一个在发布后27秒删除了整个定价块。缓存版本的读者从不重新获取。旧记录仍然存在且可恢复,但日志中没有任何更改标志或差异,所以如果你没有保留自己的副本,更改对你来说根本不存在。我想要的廉价防护是在批准时对清单进行哈希,并在每次加载时比较,当哈希在未更改的版本下移动时失败闭合。对于正常运行时间,我会停止将其视为活动信号,除非可以从比进程更持久的东西重新计算。心跳并非无用,它们回答了套接字是否温暖,这比徽章暗示的问题要小得多。你自己的工作日志中哪个事件可以将绿色健康指标变为红色?
查看原文

相似文章