ISEE:数据库字段的交互式语义增强
摘要
本文介绍了ISEE,一个交互式系统,利用基于LLM的智能体来评估并协作增强数据库字段描述的语义质量,降低认知负荷,并提升实体链接等下游任务的表现。
arXiv:2608.02604v1 公告类型:新
摘要:基于LLM的智能体越来越多地被部署用于数据相关任务,包括数据理解、探索和检索。然而,它们的性能在很大程度上依赖于数据语义的清晰度和完整性。在实践中,许多字段描述仍然模糊或不完整,因为大量关键上下文(例如自定义字段的含义)来源于用户的领域知识,且很少被公开记录。这一差距限制了智能体在下游任务(如实体链接)中的表现。为了弥合这一差距,我们引入了一个新颖且全面的交互式语义增强系统(ISEE)。给定一个数据字段描述,ISEE通过评分系统衡量其质量,收集领域知识,并与用户协作增强语义。通过用户研究、自动化用户模拟、定量评估和案例研究,我们证明ISEE显著降低了认知负荷,提高了描述质量,并增强了下游任务性能。
查看缓存全文
缓存时间: 2026/08/05 07:37
# Isee:数据库字段的交互式语义增强 来源:https://arxiv.org/html/2608.02604 Yuan Tian1, Yiru Chen2, Rakesh R. Menon2, Zifan Liu2, Ting Cai3, Fei Wu2, Anudeep Chimakurthi2, Prashanthi Ramamurthy2, Sridevi Aishwariya Ganesan2, Kun Qian2, Yunyao Li2 1普渡大学, 2Adobe, 3威斯康星大学麦迪逊分校 ###### 摘要 基于 LLM 的智能体越来越多地被部署到数据相关任务中,包括数据理解、探索和检索。然而,它们的性能在很大程度上依赖于数据语义的清晰性和完整性。不幸的是,在实践中,许多字段描述仍然模糊或不完整,因为大量必要的上下文(例如自定义字段的含义)源自用户的领域知识,且很少被公开记录。这一差距限制了智能体在实体链接等下游任务中的表现。为了弥合这一差距,我们引入了一个新颖而全面的交互式语义增强系统(Isee)。给定一个数据字段描述,Isee 通过评分系统衡量其质量,收集领域知识,并与用户协作增强语义。通过用户研究、自动化用户模拟、定量评估和案例研究,我们证明 Isee 显著降低了认知负荷,提高了描述质量,并增强了下游任务性能。 # Isee:数据库字段的交互式语义增强 Yuan Tian1, Yiru Chen2, Rakesh R. Menon2, Zifan Liu2, Ting Cai3, Fei Wu2, Anudeep Chimakurthi2, Prashanthi Ramamurthy2, Sridevi Aishwariya Ganesan2, Kun Qian2, Yunyao Li2 1普渡大学, 2Adobe, 3威斯康星大学麦迪逊分校 ## 1 引言 图1:Isee 的流程:(1) 用户通过评分系统了解当前描述的质量。(2) 用户通过澄清或
相似文章
搜索、检查、获取:利用布尔检索赋能深度研究智能体
本文介绍了SIEVE,一种搜索-检查-获取策略,利用布尔查询语言使深度研究智能体仅检索相关文档片段,在多个基准数据集和智能体主干上,以节省20.7%-50.6%的令牌数实现了更高准确性。
SESSE: 草图、扩展、排序、总结、评估 -- 通过结构化分解的LLM-as-Judge评估
SESSE是一个无需训练的框架,将整体性的LLM-as-Judge评估分解为结构化子问题,从而提高可解释性并诊断标签模糊性,同时与微调模型达到竞争性的性能。
AISE-Bench:面向学术知识图谱信息检索的全流程精选基准
本文介绍了AISE-Bench,一个包含1,133个问答对的精选基准,用于评估LLM智能体在学术知识图谱上的多步API规划和基于源的可信摘要。该基准显示,即使是最强的模型也仅达到中等性能,凸显了步骤正确性和可追踪推理方面的挑战。
Science Edge Evaluation:SEE——迈向真正科学发现所缺失的一步
本文介绍了SEE,一个由专家策划的、面向化学、生物学和材料科学科学发现的多模态基准。对19个多模态大语言模型(MLLMs)的评估显示,最佳模型的准确率仅达到48.7%,即使使用工具也只有52.7%,这表明当前模型缺乏可靠的、受证据约束的科学推理能力。
SEAL: 智能体与学习环境的协同共演化
SEAL提出了一个闭环框架,用于联合演化LLM智能体及其训练环境,利用诊断引导的标签对齐双方。仅用400个训练样本,它就在多轮工具使用任务上取得了显著提升,表现出更好的鲁棒性和分布外迁移能力。