论文

源转移下会转移哪些内容?气候披露分类的定义、示例和 微调

What Transfers Under Source Shift? Definitions, Examples, and Fine-Tuning for Climate Disclosure Classification

模型评测鲁棒性、公平性与可信度评测

摘要

气候信息披露分类是分析企业气候信息披露的一项基本任务,但此类信息披露出现在许多不同的来源中——年度报告、新闻稿和财报电话会议——其长度、目的和写作风格各不相同。现有的评估大多在单一来源内进行,对于常见的 LLM 适应策略在来源转移下是否仍然有效尚无定论。我们将气候披露分类重新定义为跨源适应问题,并使用共享相同标签空间但来自不同来源的两个语料库,研究了三种广泛使用的适应策略——定义、示例和 微调——跨越 11 个开源和闭源 LLM。我们发现,所有策略平均都会带来积极的跨源收益,但最强的源内策略并不是最强的跨源策略:基于相似性的检索和 LoRA 微调 在源内获得最多优势,但在源转移下失去了大部分优势;随机选择的少数样本,较弱的源内基线,更可靠地保留其优势;定义的传输最为一致,尽管只有当它们的粒度与目标文本匹配时。在这些策略中,当源发生变化时,越简单往往越安全。