一个极简的两步LLM链(非完整代理框架),解决一个特定问题:将规划器+编码器流水线适配到单个GPU上

Reddit r/AI_Agents 工具

摘要

一个极简的两步LLM链,实现了规划器+编码器流水线,旨在无需完整代理框架的情况下适配到单个GPU上。

暂无内容
查看原文

相似文章

从人工引导到自主:面向空间NPU的端到端LLM部署的智能体技能系统

arXiv cs.LG

本文提出了一种两阶段方法论,用于在空间NPU上进行端到端大语言模型(LLM)部署,从人工引导开发逐步过渡到自主智能体技能系统。该系统在参考模型上实现了预填充阶段2.2倍、解码阶段4.0倍的加速,并以极少的人工引导在AMD XDNA 2 NPU上自主部署了另外八个LLM。