标签
本文介绍了CAGE,一种基于反事实图的多智能体LLM系统校准方法,在TriviaQA和MMLU-Pro等基准测试上进行了评估,涵盖了多种通信拓扑结构。该方法优于现有的事后校准和LLM引导校准方法。
本文介绍了ImmigrationQA,一个包含17,058个问答对的、基于来源的美国移民法数据集,并使用LoRA对Llama 3.2 3B模型进行微调,在保留的评估集上相比基础模型提升了27%。
本文提出了一种基于多任务GLiNER的框架,用于可扩展地监测研究文献中的数据集使用情况。该框架利用合成数据生成和基于LLM的重新验证,以解决提取、关系识别和使用分类中的挑战。
本文提出了一种轻标注测量诊断方法,用于评估流行的文本分析方法(词典、主题模型、词嵌入、大语言模型)在创业话语测量中捕捉实质性立场与象征性修辞的能力。研究使用了80场中国国企演讲语料库,并利用同一公司不同演讲者配对的自然实验。作者发现,零样本大语言模型表现出更高的敏感性,但效应中相当一部分可能源于演讲者个人语言风格而非实质性立场。
本文系统性地基准测试了多种删除策略(如频率引导、基于熵的)用于有损文本压缩,其中LLM重构原文,结果表明词频删除等简单方法在保留率范围内仍具竞争力。
本文提出了NRLB,一个面向平实语言摘要的多智能体框架,通过模拟不同读者群体(小学生、非母语者、注意力缺陷者)来提高可读性,同时保持事实准确性,该框架在多个数据集和人工评估中得到了验证。
本文比较了现有的荷兰语音节划分算法,并介绍了一种结合语音和正字法信息的深度学习模型,在单词准确率上取得了小幅提升。
本文提出了一种Interpretive Audit Pipeline,利用多模型分歧来检测基于LLM的公众评论分析中的解释复杂性,并认为基于分歧的评估是标准准确性指标的必要补充。
介绍PRISM,一个用于评估基于大语言模型的同行评审员的多维度基准,涵盖分析深度、新颖性评估、缺陷识别和建设性。研究结果表明,大语言模型在单个维度上能与人类评审员匹敌甚至超越,但缺乏跨所有维度的平衡表现,因此最适合作为人类评审的补充工具。
N2I-RAG是一个结合自适应检索、LLM智能体和验证的框架,用于从规范性文本中计算法律指标,注重透明度和可追溯性。它在法国海洋环境法语料库上优于基线。
本文介绍了NEI-CAP,一种用于评估事实核查基准中“信息不足”示例构建方式的诊断协议,揭示了在易于取巧的NEI构建上训练的模型无法迁移到更难的、语义相关的信息不足案例上。
本文提出了一种混合神经符号流水线,用于从临床笔记中提取随访指令,使用BioBERT和确定性日期算术。与生成式基线相比,实现了高性能(Pair F1约0.99)。
介绍了ReDose数据集,该数据集包含6,435条Reddit帖子,标注了药物、剂量和效果实体,并评估了包括BiomedBERT、Llama-3 70B和GPT-4在内的多种模型的提取性能。
本文提出使用接收者操作特征(ROC)分析来评估翻译质量评估(QE)系统,表明该方法能为商业决策提供可操作的性能见解,并与现有方法一致。
CUNY在CLPsych 2026共享任务中的提交采用了一种流水线方法,结合了上下文学习与开放权重大型语言模型、监督分类器和检索增强生成,用于从Reddit时间线中分类和总结心理健康变化,在多个子任务中取得了最高排名。
提出SSDAU,一种面向联合实体关系抽取的结构化语义数据增强方法,通过基于实体标签分割文本并利用BERTTopic保持主题一致性,从而保留语义结构,显著优于现有增强方法。
一个包含299,329条关于气候变化的公开Facebook帖子的大规模数据集,附带元数据和主题与参与度分析,旨在支持气候话语研究。
本文介绍Lepton,一个微调的BERT分类器,用于预测古典中文文集目录中的标题是私人信件还是序言(尤其是易混淆的赠序)。该模型利用了来自明末清初三十三位文人的5,438条手工标注标题。
NeuroNL2LTL 是一个神经符号框架,它使用带有验证器在环训练的两阶段架构,将自然语言翻译为线性时序逻辑(LTL),从而为安全关键规范提供改进的正确性保证。
本综述对两种西非语言——豪萨语和丰贝语的公开文本与语音资源进行了编目,评估了其在NLP开发中的可用性、质量和差距,并提供了针对特定任务的建议。