沙丘社区
论文

LLM能做牙买加古斯米吗？食谱生成中的文化新颖性研究

Can LLMs Cook Jamaican Couscous? A Study of Cultural Novelty in Recipe Generation

F. Carichon, R. Rampa, G. Farnadi
模型评测模型行为与机制分析

摘要

大语言模型（Large Language Model，LLM）正被越来越多地用于生成和塑造文化内容，涵盖从叙事写作到艺术创作的广泛领域。尽管这些模型展现出令人印象深刻的流畅性与生成能力，已有工作表明它们还存在系统性的文化偏见，引发了对刻板印象、同质化以及文化特有表达形式被抹除的担忧。理解 LLM 能否与主流文化之外的多元文化实现有意义的对齐，仍是一项关键挑战。本文以烹饪食谱为透镜研究 LLM 中的文化适应，在这一领域中文化、传统与创造力紧密交织。我们基于 GlobalFusion 数据集，该数据集依据既定的文化距离度量将来自不同国家的人类食谱配对。使用相同的国家配对，我们用多个 LLM 生成文化适配的食谱，从而可以在跨文化内容创作上直接比较人类与 LLM 的行为。我们的分析表明，LLM 无法产生具有文化代表性的适配。与人类不同，其生成食谱的偏离程度与文化距离并不相关。我们进一步为这一差距提供了解释。我们表明：文化信息在模型内部表征中仅被微弱保留；模型因误解创造力、传统等概念而在产出中夸大新颖性；模型无法将适配与其对应国家关联起来，也无法将其落脚于食材等文化显著元素。这些发现凸显了当前 LLM 在面向文化的生成上的根本局限，并对其在文化敏感应用中的使用具有重要启示。

LLM能做牙买加古斯米吗？食谱生成中的文化新颖性研究
图2：牙买加文化变体（Jamaican Cultural Variations）与摩洛哥古斯米（Couscous）配对的示例。左上展示摩洛哥古斯米参考食谱的食材集合，右上展示牙买加菜系特有的食材，以 Jerk Chicken 为代表。右下部分呈现人类对牙买加古斯米的改编，左下部分呈现使用我们的协议生成的 LLM 食谱。人类的改编平衡了取自摩洛哥与牙买加两种烹饪传统的食材，而 LLM 生成的食谱主要依赖牙买加食材，极少复用摩洛哥参考食谱中的元素。