结构化工作流与小规模本地模型的力量

一个月前，我用一个非常基本的自制智能体循环搭配少量工具进行了实验，尽管其简陋程度令人惊讶，但效果却出奇地好：https://www.reddit.com/r/LocalLLaMA/comments/1sl7f8e/homerolled_loop_agent_is_surprisingly_effective/ 后来，我写文章谈到了开发自己的智能体循环是多么令人上瘾，尤其是当它达到能够自我编辑的程度时：https://www.reddit.com/r/LocalLLaMA/comments/1sq7cie/warning_do_not_write_your_own_ai_agent_if_you/ 结果，28天后，事情一发不可收拾。我为此一直工作到凌晨5点，因为它实在太让人上瘾了。一旦你拥有一个良好的智能体设置，你会很快意识到，作为人类，你自己才是主要的瓶颈。你有一个庞大的待办事项列表，但智能体却闲置着，等待你的批准和审查。不仅如此，由于我使用的是Qwen3.5 9B模型，其智能能力和上下文窗口都有限。我不能把数百个数据文件一股脑地扔给它，指望它同时处理所有内容。因此，我考虑通过map-reduce模式来管理上下文限制，将任务分解成更小的块，这些块可以并行运行，以在不超过上下文限制的情况下从GPU中榨取最大的FLOPs。强制使用结构化输出也有助于减少LLM的变异性，并实现平滑的reduce步骤。最后，拥有一个数据库来监控和跟踪工作流程也很有帮助。今天成功将其搭建并运行起来，很高兴看到小型本地模型能够处理这一任务。现在，我的自定义智能体已经取代了Claude Code 99%的任务。该智能体尚未发布，但我希望将来某个时候能将其开源。