通过序列级 蒸馏 提高小型 LLM 中的论据显着性覆盖率，以进行长法律意见摘要

我们证明，来自强大的长上下文教师模型的序列级 蒸馏 是一种简单、无注释且数据高效的策略，用于提高长法律意见摘要中的论点显着性覆盖率，而小型 LLM 通常很难保留最显着的论点内容。在不同的学生模型规模中，蒸馏 始终优于我们法律意见环境中专家撰写的摘要的调整。我们进一步证明，大多数收益都是通过大约 10 个训练摘要来实现的，这凸显了教师生成的监督的强大数据效率。最后，我们发现摘要 蒸馏 足以进行改进：推理链 蒸馏 仍然与仅摘要 蒸馏 竞争，但与摘要监督相结合时提供边际效益。