标签
论文提出 TokenWorth,一个轻量级在线记忆框架,在严格的资源约束下学习哪些历史经验值得保留和重用,从而在提升终身智能体任务成功率的同时减少 token 消耗。
提出 EC2-Bench,一个评估长时程 LLM 智能体边云协作的基准,揭示在任务性能、资源使用与隐私暴露之间的权衡,并发现更强的边端模型会将协作方式推向更多由边端控制的策略。
该研究评测了轻量级开源语言模型在资源受限的边缘环境中对智能数据模型(SDM)进行分类的性能,涵盖通用、推理专用和代码专用架构,并与TF-IDF及轻量句子编码器基线进行对比,为边缘部署的模型选择和任务设计提供参考。
本文提出REP-LIE,一种针对Transformer模型的资源高效剪枝方法,利用LoRA梯度的低秩重要性估计实现微调过程中的剪枝,并在LLaMA-7B和Mistral-7B上展现出与现有方法相当的性能。
作者介绍了Capstan,一个具有C核心和热重载Lua插件的轻量级编程代理,旨在提升开发工作流的效率和可扩展性。