用于文本摘要的Transformer模型：BART、BERT与RoBERTa的比较研究

arXiv cs.CL 论文
transformer-models text-summarization bart bert roberta natural-language-processing comparative-study

摘要

对BART、BERT和RoBERTa在文本摘要中的比较研究，探讨它们的架构以及在抽取式和生成式摘要任务中的适用性。

arXiv:2608.19200v1 公告类型：新 摘要：文本摘要指的是将文档压缩为更短版本同时保留关键信息的任务。自动文本摘要（ATS）在自然语言处理（NLP）进步的推动下，近年来发展迅速。ATS方法通常根据输入类型（如单文档或多文档摘要）和输出类型（抽取式、生成式和混合式）进行分类。本文对现代摘要技术进行了重点综述，强调基于Transformer的模型和大语言模型（LLMs），特别是BART、RoBERTa和BERT。它探讨了它们的架构、预训练策略以及在抽取式和生成式摘要任务中的适用性。
查看原文
查看缓存全文

缓存时间: 2026/08/21 09:56 

# 用于文本摘要的Transformer模型：BERT、RoBERTa与BART的对比研究
来源：https://arxiv.org/abs/2608.19200
查看PDF (https://arxiv.org/pdf/2608.19200)

> 摘要：文本摘要是指将文档压缩为更短版本同时保留关键信息的任务。随着自然语言处理技术的进步，自动文本摘要方法近年来发展迅速。这些方法通常根据输入类型（如单文档或多文档摘要）和输出类型（抽取式、生成式以及混合式）进行分类。本文重点综述现代摘要技术，尤其关注基于Transformer的模型和大语言模型，具体包括BERT、RoBERTa与BART。研究深入分析了它们的架构、预训练策略，以及在抽取式和生成式摘要任务中的适用性。

## 投稿历史

来自：Vinayak Elangovan \[查看邮箱 (https://arxiv.org/show-email/a408dfef/2608.19200)\] **\[v1\]**2026年6月2日 星期二 19:49:08 UTC \(333 KB\)

相似文章

评估文本摘要的抽象性度量：一种改进的公式及其经验验证

arXiv cs.CL

本文引入了参考抽象度（RA）、摘要抽象度（SA）和抽象比率（AR）等度量指标，通过使用文档长度的调和均值与三次非重叠因子来量化文本摘要中的抽象性。在XSUM数据集上对四种模型进行的经验评估表明，这些度量能够有效区分抽取式摘要和生成式摘要，并能识别潜在的幻觉问题。

基于微调PEGASUS的抽象摘要优化

arXiv cs.CL

本文展示了在XL-Sum英语语料库上微调PEGASUS的方法，在ROUGE评分上相比基线mT5模型取得了显著提升，达到了当前最优结果。