论文
CCL25-Eval 任务 5 的系统报告:新数据集和 LoRA 微调 Qwen2.5
System Report for CCL25-Eval Task 5: New Dataset and LoRA-Fine-Tuned Qwen2.5
摘要
近年来,大语言模型(LLM)在文言翻译和古典诗歌生成领域取得了可喜的进展。然而,针对古典诗歌的精确翻译和情感语义理解的特定领域研究仍然有限。主要挑战是大多数研究将诗歌欣赏任务视为一般领域问题,忽略了诗歌欣赏的独特特征,而高质量和特定领域的数据集极其有限。为了解决这个限制,我们将任务分解为三个子任务:术语解释、语义解释和情感推理。基于多个开源数据集,我们进行数据清理和对齐,构建了中国古诗词指令对数据集(CCPoetry-49K),其中包含针对该领域明确优化的 49,404 个高质量指令-响应对。然后,我们通过应用低秩适应(LoRA)来微调 Qwen2.5-14B 模型,提出了一个名为 PoetryQwen 的领域专用 LLM。 CCL25-Eval Task 5 基准的实验结果表明,PoetryQwen 的得分为 0.757,比 Qwen2.5-14B-Instruct 基准 (0.690) 提高了 9.7%。这些发现清楚地表明,PoetryQwen 显着提高了古典诗歌的精确翻译和情感理解的表现。我们提出了新的数据集和方法论考虑因素,旨在支持 LLM 的特定领域优化。