大语言模型 中用于情绪检测的跨语言功能向量

函数向量（FV）最近成为一种有前途的机制，通过注入从上下文演示中派生的特定于任务的潜在方向表示来控制 大语言模型（LLM）的行为。虽然之前的研究表明 FV 可以在结构化的上下文学习环境中恢复任务行为，但它们在语义复杂任务上的有效性以及跨语言泛化的能力仍未得到充分探索。我们使用多语言多标签情感识别作为具有挑战性的语义分类基准来研究 FV 的跨语言可迁移性。具体来说，我们检查从源语言中提取的 FV 是否可以在标准干净和扰动零样本设置下引导另一种语言的任务行为，而无需在推理过程中提供演示。在不同的跨语言环境中，应用 FV 可以显着提高性能，这表明 FV 捕获与语言无关的、与任务相关的信号，而不是纯粹特定于语言的词汇模式，并强调了它们作为多语言任务适应的轻量级和可转移机制的潜力。我们观察到，每个 LLM 都表现出相对稳定的最佳注意力头范围，用于构建有效的 FV，并且该模式在不同语言中保持一致。此外，FV 可以部分复制标准少样本上下文学习的任务引导效果，同时避免处理多个演示的计算开销，使其适用于大规模实际应用。我们的代码可在 https://github.com/yingjie7/cross_lingual_fvs 获取。