PALM：以低秩适配替代金融语言模型逐年重新预训练

金融回测中的语言模型存在前视偏差：如果模型使用研究期之后发布的文本训练，就已经见过要预测的结果。为解决这一问题，时点（PIT）语言模型在按时间过滤的语料上预训练，并按年发布带明确截止日期的检查点。但每增加一年都需要完整预训练，是否必要却未被检验。本文发现年度预训练不一定必要：作者把每个检查点与替代它的新检查点在相同评测窗口比较，新者并未表现更好。据此提出 PALM，即金融语言模型的时点适配：只用决策日期之前的文本训练低秩适配器，不修改预训练权重。研究进一步发现，小适配器足以把新时期知识补充到旧检查点已有知识中，并优于持续预训练。实验覆盖十年金融新闻及多类 PIT 模型，其截止日期跨度二十年，规模为 1.3B—4.2B。代码公开于 https://github.com/seunghan96/palm。