RETUYT-INCO 在 BEA 2026 共享任务 2：德语基于评分标准的元提示

在本文中，我们介绍了 RETUYT-INCO 参与 BEA 2026 共享任务“基于量规的德语简答评分”的情况。我们的团队参加了轨道 1（看不见的答案三向）、轨道 3（看不见的答案双向）和轨道 4（看不见的问题双向）。由于这些曲目需要使用特定的评分标准对简短的学生答案进行评分，因此我们寻找方法来处理任务不断变化的性质。我们创建了一种称为元提示的方法。在这种方法中，LLM 根据训练集中的示例创建自定义提示。然后使用该提示对新学生的答案进行评分。除了这种方法之外，我们还描述了我们使用的其他方法，例如经典机器学习、微调 开源 LLM 以及不同的提示技术。根据官方成绩，我们团队在第一场比赛的 8 名参赛者中排名第 6，QWK 为 0.729。在第 3 轨中，我们以 0.674 的 QWK 在 9 个中排名第 4，并且在第 4 轨中的 8 个中排名第 4，QWK 为 0.49。