论文
CultureTalk-ID：印尼当地语言文化常识的多任务对话基准
CultureTalk-ID: A Multi-Task Dialogue Benchmark for Cultural Commonsense in Indonesian Local Languages
摘要
文化是通过对话来体现的，但现有的印度尼西亚文化常识基准是根据简短且孤立的提示来评估 LLM 的，从而剥离了文化细微差别实际出现的对话背景。我们推出了 CultureTalk-ID，这是印度尼西亚及其当地语言的第一个基于对话的文化常识基准，包含 11 种语言和 13 个文化显着主题的 4,496 个基于文化的对话，通过与母语人士的多阶段人工流程策划，以确保真实性。 CultureTalk-ID引入了三个互补的任务，即基于对话的多项选择文化常识推理、文化忠实机器翻译和语言引导，共同探讨LLM是否能够理解、转移和生成基于文化的语言。