文化漏斗：你无法调整数据中没有的内容

当前的文化对齐方法侧重于推理时间干预，假设模型已经包含足够的文化知识。我们认为现代 LLM 管道受到文化数据漏斗的影响。使用跨预训练、微调、对齐和推理数据集的多维标记框架，我们发现在 后训练 期间，明确的文化信号急剧下降，而地理集中的任务专用数据占主导地位。多种语言增强了文化知识的地理多样性，但并不能确保均衡的代表性。我们的标签提高了下游文化基准性能，表明进步需要转移训练数据管道的重点。为了促进未来的研究，我们在 https://huggingface.co/datasets/CohereLabs/CultureMarkers 上发布了包含 560 万个样本的文化标记数据集。