为检索增强应用重现日语新闻中省略的时间表达
摘要
本文提出了jaROTE,一个基于规则的管道,利用发布日期重现日语新闻文章中省略的时间表达,以改善搜索和检索增强生成系统中的时间受限检索。
arXiv:2609.09569v1 Announce Type: new
摘要:新闻文章经常包含省略的时间表达,例如只提及日期或月份,必须结合发布日期进行解释。当这些文章在搜索和检索增强生成(RAG)系统中作为独立文本被索引或处理时,这些省略可能导致时间不匹配和大型语言模型的不稳定解释。我们专注于在文章为搜索和RAG应用索引之前,使用发布日期作为外部上下文,将省略的时间表达重现为具体日期或间隔。具体来说,在已建立的时间表达提取和规范化技术基础上,并通过对日语新闻文章的人工分析,我们提出了jaROTE,一个用于日语新闻的基于规则的管道。在两个新闻语料库上的实验表明,jaROTE取得了高性能,并与LLMs竞争,同时提供了一个快速、低成本的管道。我们进一步证明,时间重现改善了时间受限的词汇检索,证明了发布日期规范化在日语新闻检索中的实用价值。
查看缓存全文
缓存时间: 2026/09/10 08:12
# 复现日语新闻中省略时间表达以用于检索增强应用 来源:https://arxiv.org/html/2609.09569 \\CJKencfamily UTF8mc\\CJK@envStartUTF8 石原翔太††thanks:本研究开展时作者任职于日本经济新闻社。所属机构:日本经济新闻社。邮箱:[shotaro\.ishihara@nex\.nikkei\.com](mailto:) ###### 摘要 新闻文章常包含省略的时间表达,例如仅提及日期或月份的表述,其解释需参照发布日期。当此类文章在搜索和检索增强生成系统中被索引或作为独立文本处理时,这些省略会导致时间不匹配及大语言模型解释不稳定。我们在文章被索引用于搜索和检索增强应用之前,聚焦于利用发布日期作为外部上下文,将省略的时间表达复现为具体日期或时间段。具体而言,在现有时间表达抽取与规范化技术的基础上,并结合对日语新闻文章的手工分析,我们提出了jaROTE——一个基于规则的日语新闻处理流水线。在两个新闻语料库上的实验表明,jaROTE实现了高性能,且在无需大语言模型推理的情况下,仍与大语言模型具有竞争力,同时提供了快速、低成本的流水线。我们进一步证明,时间复现提升了时间约束下的词汇检索性能,这验证了基于发布日期规范化对日语新闻检索的实际价值。 类别示例(英文翻译)规范化后计数ja-timexjaROTE不完整the 2nd, March, ’122013-02-02190✓✓相对yesterday, last month, March this year2013-02-2045✓✓范围Apr–Dec 2012Apr 2012–Dec 201216✓✓复合25–26 this month2013-02-25–2013-02-263✓✓日本时代Showa 4719722✓✓比较six years ago, year-on-year—33✓指示词that day, the same day—9季节性this summer, last autumn—5表1:在日本经济新闻文章开放语料库的97篇文章中发现的省略时间表达分类。我们关注五类可由ja-timex抽取并能以发布日期为参照复现的时间表达类别 ## 1引言 大规模新闻档案正日益被用作搜索、问答和检索增强生成系统的知识源[高等人 (2023)](https://arxiv.org/html/2609.09569#bib.bib3)。在此类流程中,文章常被拆分为独立的文本块,并与文档级元数据分开索引。然而,新闻文章是为能够隐式依赖超文本上下文(尤其是发布日期)的人类读者撰写的[王等人 (2021)](https://arxiv.org/html/2609.09569#bib.bib11)。这在新闻文本的撰写方式与下游自然语言处理系统的处理方式之间造成了实际不匹配。 一个常见例子是省略的时间表达。新闻文章经常使用缩写的时间提及,如“21日”、“3月”或“上月”,假设读者能够从发布日期和周围上下文中推断出缺失的年、月或日。如图1[https://arxiv.org/html/2609.09569#S1.F1]所示,当一篇发布于2025年10月21日的文章提到事件发生在“21日”时,人类读者自然能将其解释为2025年10月21日。然而,当同一篇文章作为去语境化文本处理时,该表达仍处于欠指定状态。这可能导致检索中的时间失配、不完整的文档表示以及大语言模型的不稳定解释,尤其是在时间约束查询需要明确日历日期时[崔等人 (2021)](https://arxiv.org/html/2609.09569#bib.bib2)。 请参见标题图1:研究概览。给定日语文本及其发布日期,我们复现文本中省略的时间表达。在此例中,“21日”(21日)被复现为“2025-10-21”(2025年10月21日)。 为解决此问题,我们聚焦于在文章被索引用于搜索和检索增强应用之前,复现新闻文章中省略的时间表达。给定一篇文章及其发布日期,目标是将欠指定的时间表达转换为具体日期或时间段。遵循先前研究,我们将时间复现分解为抽取和规范化。在抽取阶段,系统识别应被复现的省略时间表达片段。在规范化阶段,系统通过将这些片段扎根于发布日期和局部上下文,将其转换为明确的日期或时间段。 具体而言,我们提出了jaROTE(*Reproducing Omitted Temporal Expressions for Japanese*),一个用于复现日语新闻中省略时间表达的基于规则的流水线。它构建于ja-timex [111]https://github.com/yagays/ja-timex,一个用于抽取日语时间表达的基于规则的Python解析器之上,并通过新闻特定过滤、范围端点补全、多参考日期解析和基于语境的日期选择对其进行扩展。这种基于规则的设计旨在提供一个快速且低成本的预处理组件,可在索引新闻档案前应用,无需大语言模型推理。 本文中,我们首先使用日本经济新闻文章开放语料库[222]https://nkbb.nikkei.co.jp/en/dataset/nikkei-news-articles/揭示省略时间表达的模式,并基于发布日期和局部上下文为97篇文章创建标准复现(第3节[https://arxiv.org/html/2609.09569#S3])。基于此分析,我们关注五类可复现的表达,并将jaROTE设计为针对日语新闻文章的确定性流水线(第4节[https://arxiv.org/html/2609.09569#S4])。然后,我们在两个日语新闻语料库(日本经济新闻文章和Livedoor在线新闻文章)上评估jaROTE(第5节[https://arxiv.org/html/2609.09569#S5])。最后,我们构建时间约束检索查询,评估复现的时间表达是否提升检索性能,特别是对于词汇检索方法(第6节[https://arxiv.org/html/2609.09569#S6])。 我们的贡献总结如下: - •我们分析了日语新闻中的省略时间表达,并将目标表达的复现范围定义为使用发布日期和局部上下文转换为具体日期或时间段。 - •我们提出了jaROTE,一个可审计的、基于规则的发布日期扎根复现流水线,并表明其在无需大语言模型推理的情况下与大语言模型具有竞争力。 - •我们表明时间复现提升了时间约束下的检索性能,特别是对于词汇检索方法,且无需修改检索器或嵌入模型。 ## 2相关工作 时间表达的抽取和规范化在自然语言处理领域已被广泛研究。MUC-7将时间表达作为其命名实体任务的一部分[钦克尔和罗宾逊 (1998)](https://arxiv.org/html/2609.09569#bib.bib16),而ACE/TERN评估则针对时间表达识别和规范化[费罗等人 (2010)](https://arxiv.org/html/2609.09569#bib.bib18)。TimeML/TIMEX3标注方案为时间表达及其规范化值提供了表示[普斯特约夫斯基等人 (2003)](https://arxiv.org/html/2609.09569#bib.bib17)。TempEval共享任务也评估了时间表达识别和规范化[乌兹扎曼等人 (2013)](https://arxiv.org/html/2609.09569#bib.bib15)。基于规则的系统如SUTime和HeidelTime识别并规范化相对于参考时间的时间表达[张和曼宁 (2012)](https://arxiv.org/html/2609.09569#bib.bib1);[斯特特根和格茨 (2010)](https://arxiv.org/html/2609.09569#bib.bib7)。神经方法也被提出用于多语言时间表达规范化[朗格等人 (2023)](https://arxiv.org/html/2609.09569#bib.bib13)。 时间表达处理也在日语中得到了研究。BCCWJ-TimeBank为日语文本提供了时间表达标注[朝原等人 (2014)](https://arxiv.org/html/2609.09569#bib.bib4)。[菊川等人 (2022)](https://arxiv.org/html/2609.09569#bib.bib14)解决了数字日期表达(如“1日”)中的日期-时长歧义,该表达可表示日历日期或持续时间。此区分与我们的抽取阶段相关,否则时长表达可能被错误地视为日期。他们的方法有可能被纳入jaROTE的抽取阶段以减少此类假阳性日期抽取。 我们的工作建立在关于时间表达抽取和规范化的文献基础之上,而非引入新的通用框架。在此更广泛的研究范畴内,我们专注于为下游搜索和检索增强应用复现日语新闻中基于发布日期扎根的省略时间表达。 ## 3分析日语新闻中的时间表达 为定义时间复现的范围,我们分析了日本经济新闻文章开放语料库中97篇文章的时间表达。新闻文章非常适合我们的场景,因为发布日期明确,且时间表达由于空间限制而倾向于缩写。BCCWJ-TimeBank[朝原等人 (2014)](https://arxiv.org/html/2609.09569#bib.bib4)为日语文本提供了时间标注,但其标注范围包括超出我们复现任务且无省略元素的表达。此外,只有54篇报纸领域文档提供了发布日期作为元数据。因此,我们使用日本经济新闻文章开放语料库,它为新闻文章提供了发布日期,并使我们能够分析那些可以从发布日期和局部上下文中复现的省略表达。我们手动标注了这些文章中的时间表达并进行了分类。表1[https://arxiv.org/html/2609.09569#S0.T1]总结了语料库中观察到的类别及其频率,以及它们是否可由ja-timex抽取和是否在jaROTE中为目标。 这些是时间复现任务特定的类别。它们表征了表达中省略了什么信息,以及需要什么操作才能将其复现为明确的日期或时间段。因此,此分类与TIMEX3的时间类型(如DATE, TIME, DURATION, and SET)目的不同。 分析表明,许多省略的时间表达可以通过使用发布日期作为主要参考来使其明确。因此,我们纳入了满足两个条件的类别:它们可由ja-timex抽取,并且可以从发布日期和局部上下文规范化为具体日期或时间段。此标准产生了五个目标类别,在我们的分析中占256个省略时间表达(共303个,84.5%): 不完整表达省略了年、月或日成分,这些通常可以从发布日期补全。 相对表达可以通过发布日期的日历运算解析。 范围表达表示间隔,其缺失的端点成分可以明确。 复合表达结合了相对参考和范围补全。 日本时代表达也包括在内,因为它们可以确定性地转换为公历年份。 就TIMEX3表示而言,不完整、相对和日本时代表达的规范化输出对应DATE值。对于范围和复合表达,复现的起始和结束点对应DATE值。因此,我们的类别描述了省略的类型和复现操作,而TIMEX3描述了生成的时间表达及其规范化值。 其余类别被排除的情况是:它们的解析通常需要解析发布日期之外的额外时间参考,或者该表达无法表示为用于检索的具体日期或时间段。例如,指示词表达(如“那天”和“同一天”)需要解析话语层面先前引入的时间参考。季节性表达(如“今年夏天”)对于日期级复现来说粒度太粗。比较表达(如“六年前”和“同比”)可能可由ja-timex抽取,但它们表达的是时间距离或比较关系,而非要作为检索元数据附加的具体日期或时间段。 然而,即使在五个目标类别中,我们的分析也发现256个目标表达中有3个(1.2%)需要更新前序话语中引入的参考时间,而非使用发布日期作为参考。这表明发布日期是我们数据中大多数目标表达的主要参考,而少数需要话语层面的参考时间跟踪。 ## 4提议方法:jaROTE jaROTE将文章及其发布日期作为输入,并输出其中目标时间表达被复现为明确日期或时段的文本。如果发布日期不可用,则不应用jaROTE。它通过一组小型规则组件处理五个目标类别:用于相对表达的发布日期运算、用于不完整表达的多参考日期解析和日期选择、用于范围的端点补全、用于复合表达的上述规则组合,以及用于日本时代表达的时代-公历转换。该流水线构建于ja-timex以进行时间表达抽取,并通过新闻特定掩蔽、范围端点补全、多参考日期解析和基于语境的日期选择对其进行扩展。 ### 4.1预处理 我们首先临时掩蔽目标之外的表达。这些包括可能被错误识别为时间表达的字母或点分数值表达,如M7.3和1.5.6。日本时代十年表达(如“平成20年代”)被掩蔽,因为它们表示的是粗略的多年时段,而非单一年份。其他被掩蔽的表达包括“10年前”和“10年后”(不应被解释为两位数年份)、金融表达(如“新十年期国债”和“连续三日上涨”)、时长表达(如“为期10年”和“五天内”),以及通常对应地址或分数的连字符数值表达。此过滤减少了来自看似时间表达但不应作为面向检索的时间元数据被复现的表达的假阳性。掩蔽的表达将在最后一步恢复。 对于剩余未掩蔽的文本,日本时代表达被转换为公历年份;例如,“平成24年”被转换为2012年。我们还将两位数年份扩展为四位数年份,并在解析前补全范围端点。日语日期范围通常省略第二个端点的共享成分,如“July 9–15, 2012”或“25–28 this month”。jaROTE将其重写为“July 9, 2012–July 15, 2012”和“25 this month–28 this month”。这使得每个端点可以独立解析和规范化。 ### 4.2抽取 预处理后,jaROTE应用ja-timex抽取候选时间表达。ja-timex是一个基于规则的解析器,用于识别日语时间表达并输出结构化的时间标注。先前的掩蔽步骤抑制了非目标数值表达,而范围端点补全允许范围的起始点和结束点被独立抽取。 ### 4.3规范化 对于每个抽取的候选表达,jaROTE使用三个参考日期获取分析:发布日期、前一天的最后一天
相似文章
面向LongEval-RAG的候选约束检索增强生成:系统设计与实证分析
本文介绍了为CLEF 2026 LongEval-RAG任务设计的候选约束检索增强生成(RAG)系统,该系统结合了确定性溯源追踪与段落检索、查询扩展、伪相关反馈、互惠排名融合、证据重排序以及引文感知聚合。对十种流水线变体的消融研究表明,采用基于规则的分块流水线并辅以句子级神经选择的方案取得了最佳性能。
T-RoPE:用于序列推荐的时间感知旋转位置嵌入
本文介绍了T-RoPE,一种针对序列推荐系统的旋转位置嵌入的时间感知改进,展示了在基准测试上的显著性能提升以及在电子商务中的实际影响。
快速且忠实:长文档检索增强生成系统的实时验证
本文提出了一种用于检索增强生成的实时验证系统,可处理长达32K token的文档,通过自适应推理策略在延迟与验证覆盖之间取得平衡。其为构建可靠的RAG系统提供了实用指导。
文本生成视频的时序规范指南
丰田研究院与宾夕法尼亚大学提出时序规格引导(TSG),一种免训练的推理时框架,将时序逻辑规格转化为可微目标,通过梯度引导注意力偏置来改善文本到视频模型对顺序、时序与持续性约束的遵循,在五个模型上比无分类器引导(CFG)提升9.5–20个百分点的规格满足率。
时间序列的模型无关检索增强扩展预测
本文介绍了RAEF,这是一种模型无关的检索增强时间序列预测方法,与微调方法相比,提高了准确性并减少了计算开销。