通过上下文工程隐式 微调：多模态实体对齐的课程学习框架
Implicit Fine-tuning via Context Engineering: A Curriculum Learning Framework for Multimodal Entity Alignment
摘要
多模态实体对齐（MMEA）旨在跨不同模态识别等效实体。虽然现有方法通过黑盒上下文工程策略增强 MMEA 性能，但它们对 LLM 参数容量的依赖和缺乏理论可解释性的问题仍未得到解决。为此，我们首先从理论上验证 MMEA 任务中上下文工程和模型 微调 之间的数学等价性，证明提示组件模拟 MMEA 中基于对比学习的顺序 微调。在此基础上，我们提出了 PTFEA，这是一个受课程学习启发的框架，可将 微调 策略转化为可解释的上下文工程。具体来说，自适应难度调制使用置信度阈值动态调整信息注入阶段，在课程学习权重和上下文样本选择之间建立数学等价；三阶段渐进推理融合了从简单到复杂情况的实体信息，反映了 微调 中的梯度下降过程。对五个公共数据集的实验表明，PTFEA 的性能始终优于强基线。特别是，在 ICWIKI 数据集上，PTFEA 将 Qwen2.5-72B 和 14B 之间的 H@1 差距缩小至 0.6%。此外，与代表性的基于上下文工程的MMEA方法MM-ChatAlign相比，PTFEA将Qwen2.5-72B的运行时间从21小时减少到1小时，并将词元消耗从2200-3000减少到200-400，在ICWIKI数据集上实现了80%以上的减少。这项工作提供了第一个在 MMEA 中统一上下文工程和 微调 的理论框架，为未来的研究铺平了道路，旨在将其他 微调 策略转化为上下文工程范例。我们的代码可从 https://github.com/DMiC-Lab-HFUT/PTFEA 获取。