意外创建了一个本地检索工具,似乎有效!急需测试建议
摘要
作者意外开发了一个用于代理AI软件调试的本地检索工具,该工具能高效缩小代码函数范围以定位错误,并寻求更多测试想法来验证其有效性。
所以,我当时正在开发我的代理AI软件。说实话,到目前为止它确实很好,但好吧,我们就不在本文中讨论这个了。在测试过程中,我发现它花费了太多令牌来查找错误。为了解决这个问题,我尝试了很多方法,比如Aider的仓库地图、本地LLM、嵌入器等,但它们都需要大量时间来构建,而且本地LLM和嵌入器无法在非常低端的笔记本电脑上运行。我拒绝在构建期间使用grep工具作为后备,为什么?我不知道,我就是不喜欢这个想法。之后,我偶然想到了一个新的本地工具(不会透露架构或代码🤫),它似乎有点用。所以,它不知怎么地将可搜索函数池缩小到只有900个(最多,可能更少),并且错误在其中的存在率为100%。为了澄清,我没有使用正常的索引之类的东西,但我也不能透露确切的方法。因此,我在几个地方测试了它——第一个原型版本是在SWE-LITE的55个案例上,其中52个在那个900个函数池中,并且38个在精确行上捕获,仅消耗了1k令牌作为辅助(这不包括大约2k的输出令牌)。(它耗时与当前在代理AI中使用的工具运行和查找错误相同,因为它目前只是一个原型,我从未优化过。)但后来我想,这可能是因为LLM模型(我正在用Gemini 3.1 Pro和Opus 5测试,我经常切换,因为我资金紧张)可能已经在SWE-LITE上训练过,所以它知道这些错误。于是我在自己的L2D(语言到DST)项目上测试了它,这个项目本身就相当复杂。我自己在该项目中注入了20个错误(逻辑错误),并编写了模糊的提示,例如——“启动时它找不到模块了”、“它从不清除内存,5分钟后就内存溢出”以及“代码崩溃时堆栈跟踪完全被切断”。结果让我震惊。在900个函数池中(总共大约18k多),它达到了20/20的存在率,并且给出了18/20的错误精确行位置。;-; 我高兴得跳了起来。但后来我想,我目前只在Python上测试了这个。这让我惊慌失措,因为我忘了为多种语言编码,所以我使用了Claude Code让它支持90多种语言(当然,我告诉它如何制作),然后我在最新的OpenMAIC仓库上测试了它,这样它没有训练数据,还有我自己的代理AI源代码(备份),其中目前使用了8种不同的语言。(使用像L2D中使用的模糊提示,比如“Regen正在删除我所有的工作,搞什么鬼”和“缩放只是立即导致整个页面崩溃”)——结果如下——“它在顶级900函数池中达到了20/20的存在率,获得了16/20的精确函数,并验证了13/20的精确机制,零假阳性幻觉(本地验证,这东西仍在进行中,我怀疑它会变得更好,我在考虑移除它)。”然后,作为最后的测试,我在最新的pagefind github仓库上运行了我的工具和Antigravity。我注入了20个错误,使用模糊提示。我的工具花了12分钟(仍然是Python,如果我确定它真的有效,我会将其转换为Rust),而Antigravity花了15分钟。Antigravity正确找到了12/20个错误和16/20个文件,但定位了错误的代码行。它消耗了600万令牌(我的意思是,大部分是缓存的,所以我算作100万新鲜令牌)。我的工具找到了16/20个错误,900个函数池中20/20的存在率,并消耗了20k令牌(全部新鲜):) 所以我的主要问题是,我应该在哪里测试它,以确保这个架构真的有效,而不仅仅是在少数地方。
相似文章
开发了一个本地工具,用于缩小成功但错误运行的范围
作者构建了一个名为Traser的本地浏览器工具,帮助工程师诊断那些完成无错误但产生错误结果的运行。通过比较执行步骤并提供基于证据的调查点。
找几个人来折腾我的AI测试工具
作者正在为Behave寻找5-10名beta测试者。Behave是一个AI代理测试/评估工具,它不只是简单检查答案,还能发现幻觉、过早下结论、提供不安全建议以及未能自我纠正等问题。
AI智能体遭遇了它20分钟前就在自己编写的代码中预测到的bug
一个自定义的AI智能体自主构建了一个工具,审计了自己的代码,预测到一个bug,之后遇到了它,并通过调整方法恢复了,展示了高级的自我改进能力。
为什么我的 AI 智能体检索到了错误的记忆?为此我构建了一个调试器
作者构建了 Agent DevTools,这是一个用于 AI 智能体的本地调试器,可检查提示词、记忆、检索和工具调用,支持 LangChain,并提供了一个免费的 Groq 演示。
@hetmehtaa: 本地AI用于渗透测试与研究 https://projectblack.io/blog/local-ai-for-cyber-security/…
一篇博客文章对四种方法(Semgrep、搭载Strix的GLM 5.1、具备代码审查技能的云端SOTA、以及使用自定义工具的本地AI)在PHPIPAM中发现已知LFI漏洞的表现进行了基准测试,结果显示采用定制化方案的本地AI工具优于其他方法。