大语言模型时代的知识图谱质量评估：一个概念框架

arXiv cs.CL 论文
knowledge-graphs quality-assessment large-language-models framework survey data-quality

摘要

本文综述了数据、信息、链接数据及知识图谱的质量评估研究，提出包含24个质量维度和相应度量指标的知识图谱质量评估框架，以评估LLM时代知识图谱的可信度与适用性。

arXiv:2610.31684v1 Announce Type: new Abstract: Knowledge Graphs (KGs) have been popularized during the last few decades and are increasingly constructed and consumed by Large Language Models (LLMs). Various applications therefore rely on KGs to provide concise, complete, accurate, faithful, fresh, and traceable answers. However, what is the quality of those KGs? In which cases should a KG be used, and can it be trusted to ground an LLM? How might it be evaluated? We reviewed the literature on quality assessment (QA) of data, information, linked data, KGs, and the intersection of KGs and LLMs. We extended the current state-of-the-art frameworks to a catalog of 24 quality dimensions (QDs) and various quality metrics (QMs). Furthermore, we propose a general-purpose, customizable to a domain or task, and practical QA framework for assessing the quality of KGs.
查看原文

相似文章

MedCaseAgent：从多模态临床证据到罕见病病例报告

arXiv cs.AI

该论文介绍了 MedCaseAgent，这是一种智能体框架，通过将分层患者数据挖掘与迭代式工具集成推理相结合，将非结构化临床笔记转化为达到发表标准的罕见病病例报告。论文还发布了 MedCase-150K 语料库、MedCase-Bench 评估套件，以及一个基于 Qwen3.5-9B 进行后训练的开源模型，其表现优于现有的医学大语言模型和智能体。

RSIHub：一个用于智能体演化方法的可组合框架

arXiv cs.AI

提出了 RSIHub，一个用于构建、比较和扩展智能体演化方法的开源框架，通过可复用的算子与配方简化实验基础设施。论文在 Terminal Bench 2 和 τ³ Banking 上评测了 AHE、Hyperagents、A-Evolve 与 GEPA，最大 pass@1 提升达 13.5 个百分点，但方法排名随设置变化且优化收益不一定迁移到留出任务。

并非所有信息都值得询问：基于决策的大语言模型信息寻求

arXiv cs.AI

论文提出了一种名为 DIVA（决策导向的信息价值获取）的训练无关方法，使大语言模型基于证据的决策价值来决定何时检索信息以及何时停止，从而避免为不改变决策的证据付费，并在四个领域、20 个大语言模型上将最佳基线的遗憾值降低 75%。

MPQ：后训练量化的消息传递视角

arXiv cs.AI

提出消息传递量化（MPQ），将逐行训练后量化（PTQ）视为离散码本上的后验推断，通过在块间保留软后验信息来改进 GPTQ 等硬决策求解器，在 Llama、Qwen、Mistral 模型上降低了 2/3/4 位量化的困惑度，并提高了零样本精度。