我为LLM智能体测试了我的GenOS:它解决了提示膨胀问题并替代了多智能体集群的延迟
摘要
作者测试了GenOS,这是一个使用版本化YAML基因组的LLM智能体工具,发现它通过减少令牌开销和借助涌现式TDD及智能体培育提升代码质量,其性能优于传统提示和多智能体集群。
我对GenOS进行了一次实证测试,这是一个由版本化YAML“基因组”而非海量提示驱动LLM智能体的环境。通过突变特性(例如risk_tolerance)并将专业化智能体进行培育,我实现了涌现式TDD,绕过了RAG的上下文限制,并完全避免了多智能体“乒乓”式循环。
我搭建了一个真实的测试环境(Windows/PowerShell,Node v24,ESLint,Rust CLI),其中有一个存在严重缺陷的PaymentProcessor.ts文件。它有38个lint错误和一个隐蔽的安全漏洞(将美元直接加入欧元账户而不进行转换)。以下是我用不同AI范式对其进行测试的结果:
1. 提示基线(失败)
简单智能体:给定一个基础的“重构此代码”提示(约15个令牌)。它清理了代码风格,但留下了3个lint错误,并保留了那个隐蔽的安全漏洞。
专家智能体(重提示/RAG):我注入了约600个令牌的严格ESLint规则和PCI-DSS标准。结果:它修复了货币bug,但首次尝试时仍未通过lint约束。它用了3次迭代才达到0错误。庞大的令牌开销换来了平庸的首次结果。
2. 通过“基因组”突变实现涌现式TDD
我没有使用巨大的提示,而是使用GenOS的Rust CLI来突变智能体的YAML基因组。我将risk_tolerance设置为≈0.10,verification_threshold设置为0.80。结果:该智能体拒绝直接修改生产代码。它首先自主编写了4个范围测试(涌现式TDD),立即捕获了EUR/USD安全漏洞。接着,我没有注入ESLint规则,而是将其syntax_strictness突变为0.9。结果:0个lint错误,5/5测试通过。提示中未添加任何额外令牌。该特性被保存在智能体版本化的YAML(v0.1.2)中,以供将来使用。
3. “培育”替代多智能体集群
通常,如果你需要既安全又高性能的代码,你会使用多智能体框架(一个编码器、一个安全审计员、一个性能工程师),这会浪费时间和令牌用于它们彼此之间的辩论。我取了两个父智能体基因组(SecurityAuditor和PerfEngineer),并使用CLI将它们培育成一个子智能体文件Child_Crypto.yaml。结果:在一次遍历中,该子智能体编写了一个AES-256-GCM加密引擎,通过了所有安全lint检查,并在5000批次测试中达到了21 op/ms的吞吐量。没有集群乒乓,没有无尽的LLM循环。
是否还有其他人尝试过使用持久性参数文件或“基因”特性来管理本地智能体,而不是完全依赖RAG和系统提示?
相似文章
【开源】我需要你们最糟糕的边界案例来压力测试GenOS,我新的AI智能体编排器。
GenOS的开发者正在请求社区提供最糟糕的边界案例,以压力测试和改进这个使用Rust和Git worktrees的多智能体LLM编排开源框架。
Agent libOS:受库操作系统启发的用于长期运行、能力可控的大语言模型智能体的运行时
Agent libOS 引入了一种受库操作系统启发的、用于大语言模型智能体的运行时基座,将智能体视为具有显式能力、生命周期管理、审计记录和人工审批队列的可调度进程。该设计将信任边界从工具调度移至运行时原语,使得长期运行的智能体能够安全地被调度、授权、恢复和审计。
我构建了一个自定义多智能体框架(GenOS)来自主演化算法。我将三种基本AI范式与一个NP难问题进行对决。以下是结果。
这篇文章描述了GenOS,一个自定义多智能体框架,它自主演化Rust算法来解决NP难的逆生命游戏问题,发现了三种优化范式,并证明了378/400的数学极限。
我用AutoGen、CrewAI、LangGraph和MetaGPT与我的Agent OS进行了基准测试。“LLM-as-a-judge”范式完全失效。以下是本地数据。
本文对五种AI代理框架在严格的Rust编码任务上进行了基准测试,结果显示,使用LLM评委的框架经常失败或幻觉成功,而采用机械验证方法则产生更可靠的结果。
超越提示:衡量与优化大语言模型工具代理框架
本文研究代理框架优化,以改进大语言模型工具代理而无需重新训练,重点关注提示和工具边界中间件,并引入了一个协议和PRISM优化器以实现可测量的增益。