标签
DocOCR-Eval提出了一种无需标注的框架,采用校正和排序策略,在没有真实标签的情况下评估和选择OCR工具,并表明聚合多个多模态大语言模型能够改善与人工排序的一致性。
最近的分析表明,针对LLM智能体的基于检索的工具选择最多只能挽回约23%的失败,而针对注意力偏差的读取侧干预措施则可以挽回59-91%的失败,这表明真正的瓶颈在于模型的输出处理,而非输入过滤。
Liquid AI 展示了如何使用 LFM2.5-ColBERT-350M 作为过滤器,从151个工具中仅选出最相关的五个,从而减少延迟并提高工具选择准确性。
LFM2.5-ColBERT-350M 是一个模型,能从151个工具中可靠地选出最相关的工具,节省令牌并提高准确性,非常适合代理型边缘模型。
本文研究了LLM Agent中的过度权限工具选择问题,引入了ToolPrivBench来评估并缓解不必要的高权限工具使用。研究发现,安全对齐并不能确保最小权限选择,并提出了一种训练后防御方法,能够在不牺牲性能的情况下减少过度权限的使用。
作者分享了他们在agent中从语义嵌入切换到BM25进行工具选择的经验,发现在200个查询-工具对的数据集上,BM25的Top-1准确率达到81%,而嵌入只有64%,因为工具描述简短且关键词驱动,不像文档那样语义丰富。
一位日本开发者展示如何借助 Claude Code 的“find skills”功能,在编码任务中实现最佳工具选择。