LLM 可以使用关系 Transformer 嵌入吗？

将冻结的关系编码器嵌入作为软词元注入到 大语言模型 (LLM) 中是一种概念上有吸引力的融合策略：编码器处理多表结构，LLM 处理语言和推理，并且不需要有损文本序列化。我们通过学习的 MLP 投影和 LoRA 适应将冻结关系 Transformer (RT) 的嵌入注入到 Qwen3.5-4B 中，具体测试了这一假设，首先使用有监督的 微调 (SFT) 进行思想链推理跟踪训练，然后使用基于组的强化学习 (GSPO) 进行训练。我们在 RelBench 的 6 个关系数据库上评估 10 个二元分类任务，在四种监督机制下：单任务 (ST)、数据集内 (WD)、跨数据集 (CD) 和全任务 (ALL)。混合模型的性能并不总是优于独立 RT：它经常低于随机性，对序列化格式和关系 词元预算 高度敏感，并且在 RL 训练下不稳定。我们报告这些负面结果并分析故障模式，认为软词元融合需要更强的对齐目标和模式感知设计，然后才能作为关系预测的可靠途径。