面向税务感知的个性化投资组合管理的三阶段基础模型

arXiv cs.AI 论文

摘要

一个三阶段深度强化学习系统,用于个性化投资组合管理,解决了股票代码锁定、单一目标和静态用户模型的问题,使用了通过自监督学习预训练的跨资产编码器以及Chronos时间序列基础模型,通过混合专家模型和PPO进行微调,并通过LoRA实现个性化。

arXiv:2606.30997v1 Announce Type: new \n摘要:我们提出了一种三阶段深度强化学习系统,用于个性化投资组合管理,解决了以往所有金融强化学习工作共有的三个局限性:1)股票代码锁定,2)单一目标,3)静态用户模型。第一阶段通过自监督学习在多资产语料库上预训练了一个无股票代码标识的跨资产编码器,并辅以一个使用Chronos(基于T5的时间序列基础模型)的冻结并行分支,通过学习得到的门控机制进行融合。据我们所知,这是时间序列基础模型首次应用于投资组合管理强化学习。该编码器通过一个50维可观测元数据向量泛化到任何公开交易资产,无需为新股票代码重新训练。第二阶段使用PPO在目标条件化奖励下微调了一个MoE(混合专家模型)投资组合演员-评论家,该奖励同时服务每个回合采样的六个不同投资目标:短期阿尔法、短期收益、长期收益、资本保值、税收损失收割和仅长期收益。MoE架构为每个目标分配一个专门的专家头(动量、增长、防御、税收感知),而学习得到的意图路由器根据当前目标和市场状态混合专家,消除了跨目标梯度冲突。第三阶段添加了一个轻量级个性化层,在推理时通过一个76参数的LoRA模块进一步适应每个个体,该模块在真实经纪交易历史上进行微调,从揭示的交易行为而非问卷中推断投资目标。一个自然语言意图解析器将自由形式的目标直接转换为结构化的投资目标参数。
查看原文
查看缓存全文

缓存时间: 2026/07/01 05:36

# 面向税务感知的个性化投资组合管理三阶段基础模型††致谢:专利申请中。美国临时专利申请号64/101,198,提交于2026年6月29日。
来源:https://arxiv.org/html/2606.30997
###### 摘要

我们提出一个三阶段深度强化学习系统,用于个性化投资组合管理,解决了以往所有金融强化学习工作共有的三个局限性:1) 股票代码锁定(在固定资产集上训练的模型无法泛化);2) 单一目标(单一的夏普奖励[16 (https://arxiv.org/html/2606.30997#bib.bib16)]无法服务于异构用户目标);以及3) 静态用户模型(偏好仅被询问一次,永不更新)。第一阶段通过自监督学习在多资产语料库上预训练一个无股票代码识别的跨资产编码器,并增加一个冻结的并行分支,使用Chronos[2 (https://arxiv.org/html/2606.30997#bib.bib2)]——一个基于T5的时间序列基础模型,在超过1000亿数据点上预训练,通过学习的门控机制融合。据我们所知,这是时间序列基础模型首次应用于投资组合管理强化学习。该编码器通过一个50维可观测元数据向量(行业、基本面、分析师共识、期权信号、财报日历、内部人情绪、机构持股)泛化到任何公开交易资产,无需为新股票代码重新训练。第二阶段使用PPO在目标条件下微调一个MoE(专家混合)投资组合行动者-评论家,其奖励同时服务于每轮采样的六个不同投资目标:短期alpha、短期收益、长期收益、资本保值、税收亏损收割和仅长期收益。MoE架构将每个目标分配给一个专门的专家头(动量、成长、防御、税务感知),一个学习到的意图路由器基于当前目标和市场状态混合专家输出,从而消除跨目标的梯度冲突。第三阶段增加一个轻量级个性化层,在推理时通过一个76参数的LoRA模块进一步适应每个个体,该模块基于真实的券商交易历史进行微调,从揭示的交易行为推断投资目标,而非通过问卷。一个自然语言意图解析器将自由形式的目标(如“三年内买房”或“大学基金,孩子10岁”)直接转换为结构化的投资目标参数。该系统部署为FastAPI应用,支持实时券商集成、实时价格刷新、新闻和事件交叉注意力,以及一个信任优先的界面,在应用任何模型适应之前预览推断出的偏好。

## 1 引言

个人投资组合管理位于多个难题的交汇处:非平稳条件下的市场预测、大量股票代码的组合动作空间、异构用户目标(税收效率、风险容忍度、投资期限),以及从那些不以年化夏普比率思考的用户中引出真实偏好的根本挑战[16 (https://arxiv.org/html/2606.30997#bib.bib16)]。

### 1.1 市场空白

现有工具分为两类,均无法很好地服务个人投资者。

- • 专业和高速系统:机构量化交易平台专为具备编程技能、能访问昂贵实时数据源的、投资组合规模达数亿美元的专业分析师设计。这些系统提供复杂因子模型、另类数据集成和执行基础设施,但需要大量资金、技术开销和专有数据订阅,使零售投资者望而却步。它们以毫秒级时间尺度优化alpha生成和执行延迟,并假设构建策略的分析师与执行交易的系统之间存在清晰分离。税后后果、个人持有期和个人财务目标与其设计目标正交。高频交易系统更极端:纯粹的延迟套利,完全不考虑用户目标。
- • 零售工具:向相反方向优化:极端简单,以信号质量为代价。一些产品提供目标日期再平衡和基本税收亏损收割,但底层的“AI”是确定性规则引擎,而非学习到的策略。没有市场信号:系统不知道某个股票代码是凭盈利动量上涨了200%,还是信用利差上升需要降低股票敞口。其他一些产品仅提供执行而无指导:分析负担完全落在用户身上。

空白在于一个结合了真正学习到的市场信号、税务感知和个性化(这对个人投资者至关重要)的系统,而无需机构级数据订阅、量化背景或定制技术栈。表1 (https://arxiv.org/html/2606.30997#S1.T1)总结了这一定位。

表1:与现有工具的定位比较。维度 | 机构工具 | 零售工具 | 我们的系统
--- | --- | --- | ---
学习到的市场信号 | ✓ | × | ✓
税务批次感知 | 部分 | 基础 | ✓
用户目标个性化 | × | 基于规则 | ✓
自然语言目标输入 | × | × | ✓
实时券商集成 | ✓ | ✓ | ✓
所需专业知识 | 高 | 无 | 无
数据成本 | $$$ | 免费 | 免费
延迟目标 | 毫秒 | 每日 | 每日

### 1.2 先前工作

金融强化学习在很大程度上孤立地处理子问题。[7 (https://arxiv.org/html/2606.30997#bib.bib7)]和[10 (https://arxiv.org/html/2606.30997#bib.bib10)]引入了端到端投资组合策略,但使用固定股票代码集且无个性化。[22 (https://arxiv.org/html/2606.30997#bib.bib22)]纳入了交易成本,而[11 (https://arxiv.org/html/2606.30997#bib.bib11)]提供了一个多环境基准。税务感知交易在运筹学文献中已有研究[4 (https://arxiv.org/html/2606.30997#bib.bib4)],但很少与学习到的策略集成。机器人顾问[5 (https://arxiv.org/html/2606.30997#bib.bib5)]通过问卷解决个性化问题,但缺乏市场信号。

### 1.3 创新定位

所有先前金融强化学习系统的根本局限是股票代码锁定:模型在固定N只资产上训练,无法应用于任何其他集合而不重新训练。这是一个关键的实际障碍:用户的投资组合随时间变化,新资产变得相关,适用于标普500成分股的方法对于拥有自己税单和行为历史的5-20个独立头寸的投资组合毫无用处。我们的主要贡献是完全从架构中消除股票代码身份,用可计算的50维可观测元数据向量替代学习到的股票代码嵌入,无需重新训练即可用于任何公开交易资产。

第二个空白是将用户视为静态实体。现有系统(无论是机构优化器还是零售机器人顾问)通过问卷一次性引出偏好,永不更新。我们则从真实券商交易历史中提取的揭示交易行为动态推断目标,通过一个可在CPU上数秒更新的76参数LoRA模块进行适应。

第三个空白是单一目标:几乎所有先前的强化学习策略都优化单一固定奖励(通常是夏普比率)。我们引入一个目标条件奖励,使得单个策略同时服务于每轮采样的五个不同投资目标,而无需为每个目标单独训练模型。

最后,我们集成了Chronos[2 (https://arxiv.org/html/2606.30997#bib.bib2)]——一个在超过1000亿时间序列数据点上预训练的时间序列基础模型,作为冻结的并行编码器分支。这为特定领域的SSL编码器增加了通用时间模式识别能力。据我们所知,这是时间序列基础模型首次应用于投资组合管理强化学习。

我们将所有四个贡献(即无股票代码身份泛化、揭示偏好个性化、目标条件训练和基础模型增强)结合到一个端到端系统中,并部署与实时券商集成。

我们的贡献包括:

- • 无股票代码身份架构,带有50维可观测元数据向量(行业、基本面、分析师共识、期权信号、财报日历、内部人情绪、机构持股),实现零样本泛化到任何公开交易资产,无需重新训练。这是主要的架构创新;据我们所知,没有先前的金融强化学习系统实现股票代码集独立性。
- • 目标条件奖励,每轮按不同方式塑造梯度,训练单个策略服务于五个投资目标(短期收益、长期收益、资本保值、税收亏损收割、仅长期收益),每轮随机采样。
- • Chronos基础模型分支:一个冻结的并行编码器,在超过1000亿时间序列数据点上预训练,通过学习的门控融合,提供通用时间表示,补充特定领域的自监督预训练。首次将时间序列基础模型应用于投资组合管理强化学习。
- • 揭示偏好个性化系统,从真实交易历史推断投资目标,通过76参数LoRA模块适应,具有信任优先的预览-再应用用户体验,不存储原始交易数据。
- • 可学习的现金令牌,强制明确的现金分配决策。现金在分配softmax中与股票竞争,而不是通过不作为被动累积,消除了常见的“持有”陷阱失败模式。
- • 分配驱动的执行模型,将投资组合权重目标与每只股票行动解耦。当分配权重偏离超过阈值δreb时触发再平衡,防止行动头通过全“持有”输出阻止交易。
- • 六阶段MoE专家课程(四个专业专家头、意图条件路由器带监督路由损失、专家嫁接),实现+3.03% 14天等权alpha,具有清晰的对角路由(std>0.37)。
- • MoE投资组合策略(§2.4 (https://arxiv.org/html/2606.30997#S2.SS4))带有四个专业专家头(动量、成长、防御、税务感知)和一个学习到的意图路由器,根据当前目标和市场状态混合专家输出,消除阻止单个头同时服务所有投资任务的跨目标梯度冲突。
- • 共享编码器MoE设计,所有专家共享一个跨资产编码器,通过PPO联合微调。这比每个专家单独编码器参数效率更高,同时允许所有专家的表示适应。
- • 第一阶段中的跨股票代码对比损失,防止表示崩溃。没有此损失,所有股票代码收敛到相同嵌入(余弦相似度0.96),使得差异化分配不可行;对比损失将相似度降至0.24。
- • 第六个训练目标(ALPHA_VS_EW)直接优化相对于等权基准的alpha,带有集中度奖励5σ(w),激励非均匀权重。
- • 现金拖累和再部署奖励,明确激励在单步内完成卖出→买入循环,并豁免往返再平衡的周转惩罚。
- • 自然语言意图解析器,将自由文本目标(“三年内买房”、“大学基金,孩子10岁”)映射到结构化投资目标参数。

## 2 系统架构

图1 (https://arxiv.org/html/2606.30997#S2.F1)展示三阶段流水线,图2 (https://arxiv.org/html/2606.30997#S2.F2)详述编码器架构。

[图1:三阶段流水线。实线箭头=训练流程;虚线=条件输入(Chronos、元数据、目标、自然语言解析器)。每个阶段可独立从检查点恢复。]
[图2:CrossAssetEncoder架构。SSL训练的MarketEncoder(价格特征)和冻结的ChronosEncoder(通用时间模式)通过学习的门控机制结合。股票元数据(50维)在门控融合后以加法方式注入,然后跨资产注意力比较各股票。三个分支在推理时均可处理任意数量N的股票,无需重新训练。]

### 2.1 第一阶段:自监督编码器预训练

编码器在多个资产语料库上使用三个自监督目标进行预训练:

#### 下一周期收益预测
给定一个由T个周期和D个归一化特征(收益、移动平均比、RSI、MACD、成交量Z分数等)组成的窗口x∈R^(T×D),通过Huber回归头[17 (https://arxiv.org/html/2606.30997#bib.bib17)]预测下一周期收益r_{t+1}:
L_ret = Huber_δ( r̂_{t+1}, clip(r_{t+1}, -0.1, 0.1) ), δ=0.05。 (1)

#### 掩码特征恢复
随机将一部分特征通道置零,编码器需重建原始值,鼓励充分利用特征集:
L_mask = || x̂_masked - x_original ||_2^2。 (2)

#### 市场状态分类
自动通过滚动统计将周期标记为四个状态(牛市、熊市、波动、盘整),训练编码器预测当前状态:
L_reg = CrossEntropy( ŷ_regime, y_regime )。 (3)
综合损失:
L_P1 = 0.3 L_ret + 1.0 L_mask + 0.5 L_reg + 0.5 L_contrast。 (4)

#### 跨股票代码对比损失
开发过程中出现了一个关键失败模式:没有显式区分目标,跨资产编码器收敛到平均表示。所有股票代码产生几乎相同的嵌入(平均余弦相似度0.96),导致分配头输出均匀1/N权重,无论输入如何。我们将此诊断为跨资产注意力中的表示崩溃:由于每个股票代码的自监督目标相同,注意力学会了平均而非对比。

我们通过在池化前对每个股票代码的表示{h_i}应用对比损失来解决这个问题:
L_contrast = 1/(BN(N-1)) Σ_{b=1}^{B} Σ_{i≠j} h_{b,i}  ... [公式原文不完整,但保持原样]

相似文章

基于可靠性的双目标投资组合优化的深度强化学习

arXiv cs.LG

本文提出了一种深度强化学习框架(MORP-DRL),用于多目标基于可靠性的投资组合优化,在实践约束下使用CVaR和EVaR联合优化期望收益和下行风险,并在不同市场体制下的全球股票指数上展示了性能。