税务意识个性化投资组合管理的三阶段基础模型

我们提出了一个用于个性化投资组合管理的三阶段深度强化学习系统，该系统解决了所有先前金融强化学习工作所共有的三个限制：1）股票锁定，2）单一目标，3）静态用户模型。第一阶段通过在多资产语料库上进行自监督学习来预训练无股票代码身份的跨资产编码器，并通过使用 Chronos（基于 T5 的时间序列基础模型）的冻结并行分支进行增强，并通过学习门控机制进行融合。据我们所知，这是时间序列基础模型在投资组合管理强化学习中的首次应用。该编码器通过 50 维可观察元数据向量推广到任何公开交易的资产，无需对新代码进行重新训练。第二阶段在客观条件奖励下对 MoE（专家混合）投资组合行动者—评价者与 PPO 进行微调，该奖励同时服务于每集采样的六个不同投资目标：短期阿尔法、短期收益、长期收益、资本保值、税收损失收获和仅长期收益。 MoE 架构将每个目标分配给专门的专家负责人（动量、增长、防御、税务意识），学习意图路由器根据主动目标和当前市场状况将专家混合在一起，从而消除了跨目标梯度冲突。第三阶段添加了一个轻量级个性化层，通过根据真实经纪交易历史进行微调的 76 参数 LoRA 模块，在推理时进一步适应每个人，从显示的交易行为而不是调查问卷中推断投资目标。自然语言意图解析器将自由形式的目标直接转换为结构化的投资目标参数。