标签
SciGraphSelect 提出了一种以参考文献为依据的框架,用于可审计的科学数据筛选,将领域知识和推理操作组织为带类型的知识–推理图,以基于可追溯的证据对候选文档进行评分。
一个 Meta 与密歇根州立大学的新论文发现,LLM 构建的推理图质量差异很大,其错误会传导到基于这些图计算出的答案和置信度中;研究测试了 9 个模型,指出图的质量更多取决于模型家族与图结构而非规模。
大知识模型(LKM)构建了一个科学知识基础设施,能够将研究论文转化为推理图,形成一个科学推理图景,以支持科学搜索、问题解答和研究规划,并在基准测试中展示了准确性的提升。
本文介绍了 SeedRG,这是一个半合成的基准测试生成管道,旨在通过创建保留推理结构但不在模型参数记忆中的新实例,消除检索增强生成 (RAG) 评估中的知识泄露。