论文

IndicDetect:评估 LLM 生成的印地语、泰卢固语和泰米尔语跨语言文本检测

IndicDetect: Evaluating Cross-Lingual LLM-Generated Text Detection for Hindi, Telugu, and Tamil

模型评测基准与评测资源

摘要

LLM 的快速扩散进一步提高了开发可靠的人工智能生成文本检测的需求,尤其是英语以外的文本检测。然而,当前的基准测试很少关注印度语言,并在不代表现实世界的理想化设置中测试检测器。我们提出了一个用于人工智能生成的印地语、泰卢固语和泰米尔语文本检测的通用基准,我们称之为 IndicDetect,旨在评估检测器在实际分布变化下的稳健性。 IndicDetect 包含精心策划的人类编写的文本,与 LLM 跨各个域和生成器生成的对应文本相匹配,并在存在域移位、生成器移位和对抗性扰动的情况下系统地评估检测器。使用单一且可重复的评估方案,我们评估各种统计和神经检测器。我们发现严重的鲁棒性失败:监督神经检测器在分布中表现良好,而 无需训练 方法在看不见的生成器和对抗性攻击下显着退化。这些失败的严重程度因语言而异,印地语在对抗性扰动下表现出最大的整体退化。这些结果强调,印度环境中现有探测器的主要弱点在于其鲁棒性,而不是其峰值精度。 IndicDetect 提供标准数据分割、评估协议和基线,为 AI 生成的印度文字文本检测建立强大的语言感知基础。