LabelFusion-TS：融合大型语言模型、Transformer编码器与金融时间序列进行货币政策立场分类

arXiv cs.CL 论文
financial-nlp time-series llm transformer monetary-policy classification multimodal

摘要

本文介绍了LabelFusion-TS，它融合了微调后的RoBERTa编码器、提示式LLM以及基于市场数据的时间序列Transformer，将美联储沟通文本分类为鹰派、鸽派或中性。该融合系统达到了70.2%的加权F1分数，优于零样本LLM，并初步证明市场时间序列有助于金融文本分类。

arXiv:2608.11753v1 公告类型：新 摘要：金融文本是在市场环境中产生和解读的，但金融文本分类器几乎总是仅接收文本。我们研究了金融时间序列是否可以作为额外输入，用于将美联储沟通中的句子分类为鹰派、鸽派或中性。我们的系统\lfts{}扩展了\lf{}架构以加入这一模态：一个小型投票网络结合了三个独立训练的组件——一个微调后的RoBERTa编码器、一个提示式大型语言模型（LLM），以及一个对发表前数月市场序列进行时间序列Transformer融合的集成模型。由于只有约一千个带标注的句子可供训练，RoBERTa编码器首先在由LLM自动标注的句子上进行预训练，然后才在人工标签上进行微调。在截至2015年的联邦公开市场委员会（FOMC）沟通文本上训练，并在2015年至2022年的数据上评估，该融合系统达到了70.2%的加权F1分数——而零样本LLM为64.1%——并且仅需240个人工标注句子即可超越它。我们将此视为金融文本分类中市场时间序列作为输入模态的初步证据。
查看原文
查看缓存全文

缓存时间: 2026/08/13 15:28 

# 融合大型语言模型、Transformer编码器与金融时间序列进行货币政策立场分类

Fabian Lukassen, Christoph Weisser  
所属机构：德国哥廷根大学（Georg-August-Universität Göttingen）统计中心  
所属机构：德国比勒费尔德应用科学和艺术大学（Hochschule Bielefeld (HSBI) – University of Applied Sciences and Arts, Bielefeld, Germany）  
[email protected], [email protected], [email protected]

###### 摘要

金融文本是在市场环境中产生并被解读的，然而金融文本分类器几乎总是只接收文本本身。我们研究金融时间序列是否可以作为额外输入，用于将美联储沟通中的句子分类为鹰派、鸽派或中性。我们的系统 LabelFusion-TS 将这一模态扩展到 LabelFusion 架构：一个小的投票网络结合三个独立训练的组件——一个微调的 RoBERTa 编码器、一个提示式大语言模型（LLM），以及一个融合的时间序列 Transformer 集成，读取该句子发表前几个月的市场序列。由于只有约一千条带

相似文章

# 微调长存：针对特定任务的Transformer在Reddit虚假信息回复分类中优于零样本LLM

arXiv cs.CL

# 悉尼科技大学研究人员对比微调 Transformer 与零样本 LLM 在 Reddit 虚假信息回应分类任务中的表现 悉尼科技大学的研究人员对微调 Transformer 模型（DistilBERT、RoBERTa）与零样本 LLM（Llama 系列、Claude、Gemini）在 Reddit 虚假信息回应分类任务中的性能进行了比较，发现微调后的 RoBERTa 达到了 0.62 的宏观 F1 分数，而最佳零样本模型仅为 0.50。研究表明，针对特定任务的微调优于更大规模的通用模型，在检测信念传播方面尤为突出，同时前沿模型中的安全对齐机制可能会对模型性能产生负面影响。