意外创建了一个本地检索工具,似乎有效!急需测试建议

Reddit r/AI_Agents 工具

摘要

作者意外开发了一个用于代理AI软件调试的本地检索工具,该工具能高效缩小代码函数范围以定位错误,并寻求更多测试想法来验证其有效性。

所以,我当时正在开发我的代理AI软件。说实话,到目前为止它确实很好,但好吧,我们就不在本文中讨论这个了。在测试过程中,我发现它花费了太多令牌来查找错误。为了解决这个问题,我尝试了很多方法,比如Aider的仓库地图、本地LLM、嵌入器等,但它们都需要大量时间来构建,而且本地LLM和嵌入器无法在非常低端的笔记本电脑上运行。我拒绝在构建期间使用grep工具作为后备,为什么?我不知道,我就是不喜欢这个想法。之后,我偶然想到了一个新的本地工具(不会透露架构或代码🤫),它似乎有点用。所以,它不知怎么地将可搜索函数池缩小到只有900个(最多,可能更少),并且错误在其中的存在率为100%。为了澄清,我没有使用正常的索引之类的东西,但我也不能透露确切的方法。因此,我在几个地方测试了它——第一个原型版本是在SWE-LITE的55个案例上,其中52个在那个900个函数池中,并且38个在精确行上捕获,仅消耗了1k令牌作为辅助(这不包括大约2k的输出令牌)。(它耗时与当前在代理AI中使用的工具运行和查找错误相同,因为它目前只是一个原型,我从未优化过。)但后来我想,这可能是因为LLM模型(我正在用Gemini 3.1 Pro和Opus 5测试,我经常切换,因为我资金紧张)可能已经在SWE-LITE上训练过,所以它知道这些错误。于是我在自己的L2D(语言到DST)项目上测试了它,这个项目本身就相当复杂。我自己在该项目中注入了20个错误(逻辑错误),并编写了模糊的提示,例如——“启动时它找不到模块了”、“它从不清除内存,5分钟后就内存溢出”以及“代码崩溃时堆栈跟踪完全被切断”。结果让我震惊。在900个函数池中(总共大约18k多),它达到了20/20的存在率,并且给出了18/20的错误精确行位置。;-; 我高兴得跳了起来。但后来我想,我目前只在Python上测试了这个。这让我惊慌失措,因为我忘了为多种语言编码,所以我使用了Claude Code让它支持90多种语言(当然,我告诉它如何制作),然后我在最新的OpenMAIC仓库上测试了它,这样它没有训练数据,还有我自己的代理AI源代码(备份),其中目前使用了8种不同的语言。(使用像L2D中使用的模糊提示,比如“Regen正在删除我所有的工作,搞什么鬼”和“缩放只是立即导致整个页面崩溃”)——结果如下——“它在顶级900函数池中达到了20/20的存在率,获得了16/20的精确函数,并验证了13/20的精确机制,零假阳性幻觉(本地验证,这东西仍在进行中,我怀疑它会变得更好,我在考虑移除它)。”然后,作为最后的测试,我在最新的pagefind github仓库上运行了我的工具和Antigravity。我注入了20个错误,使用模糊提示。我的工具花了12分钟(仍然是Python,如果我确定它真的有效,我会将其转换为Rust),而Antigravity花了15分钟。Antigravity正确找到了12/20个错误和16/20个文件,但定位了错误的代码行。它消耗了600万令牌(我的意思是,大部分是缓存的,所以我算作100万新鲜令牌)。我的工具找到了16/20个错误,900个函数池中20/20的存在率,并消耗了20k令牌(全部新鲜):) 所以我的主要问题是,我应该在哪里测试它,以确保这个架构真的有效,而不仅仅是在少数地方。
查看原文

相似文章

找几个人来折腾我的AI测试工具

Reddit r/ArtificialInteligence

作者正在为Behave寻找5-10名beta测试者。Behave是一个AI代理测试/评估工具,它不只是简单检查答案,还能发现幻觉、过早下结论、提供不安全建议以及未能自我纠正等问题。