一个极简的两步LLM链(非完整代理框架),解决一个特定问题:将规划器+编码器流水线适配到单个GPU上
摘要
一个极简的两步LLM链,实现了规划器+编码器流水线,旨在无需完整代理框架的情况下适配到单个GPU上。
暂无内容
相似文章
在单个16GB GPU + 64GB RAM上的本地LLM自动补全与代理式编码
使用 llama.cpp 在单块 16GB GPU 及 64GB+ 内存上设置本地 LLM 自动完成(Qwen2.5-Coder-7B)与代理编码(Qwen3.6-35B-A3B)的技术指南,包含命令与性能基准。
面向自进化LLM代理在CUDA内核生成中的反馈到计划决策
本文介绍了CUDAnalyst,一种用于分析在CUDA内核生成中自进化LLM代理的各个反馈信号如何影响规划决策的工具,通过轨迹冻结和选择性反馈注入实现可控归因。
一个使用前沿模型进行规划但在本地运行大部分token的代理(为我的双RTX 3090机器构建)
作者构建了一个个人AI代理,它使用前沿模型(Codex)进行高层次规划,同时在双RTX 3090系统上本地运行大部分token处理,支持长时间任务并具备确定性验证。该代理支持三个可互换的层级:规划器、本地和高级,并以开源仓库形式提供。
从人工引导到自主:面向空间NPU的端到端LLM部署的智能体技能系统
本文提出了一种两阶段方法论,用于在空间NPU上进行端到端大语言模型(LLM)部署,从人工引导开发逐步过渡到自主智能体技能系统。该系统在参考模型上实现了预填充阶段2.2倍、解码阶段4.0倍的加速,并以极少的人工引导在AMD XDNA 2 NPU上自主部署了另外八个LLM。
构建了一个 LLM 在结构上被禁止生成最终输出的 Agent,寻求反馈以及愿意尝试“攻破”它的人
作者描述了一个基于 LangGraph 构建的 AI Agent,旨在复现生产环境中的 Python 崩溃问题。其独特之处在于架构设计:LLM 负责规划行动,而确定性 Python 函数则生成最终测试代码,以确保可靠性。