论文

关系探测:用于金融预测的 LM 到图的适应

Relational Probing: LM-to-Graph Adaptation for Financial Prediction

应用与实践行业应用

摘要

语言模型可用于识别文本中金融实体之间的关系。然而,虽然存在结构化输出机制,但基于提示的管道仍然会产生自回归解码成本,并将图构建与下游优化分离。我们提出 \emph{Relational Probing},它将标准语言模型头替换为关系头,直接从语言模型隐藏状态导出关系图,并与下游任务模型联合训练以进行股票趋势预测。这种方法既学习语义表示,又保留归纳关系图的严格结构。它使语言模型输出超越文本,允许它们被重塑为下游模型的特定于任务的格式。为了提高可重复性,我们提供了小语言模型 (SLM) 的操作定义:可以在指定的批量大小和序列长度设置下在单个 24GB GPU 上进行端到端微调的模型。实验使用 Qwen3 主干 (0.6B/1.7B/4B) 作为上游 SLM,并与共现基线进行比较。关系探测以具有竞争力的推理成本实现持续的性能改进。