KhatianDoc：经人工验证的基准诊断孟加拉合法土地记录上的多式联运 LLM 失败

孟加拉国的土地所有权记录在 Ana-Ganda-Kora-Kranti-Til 中，这是一个以 16 为基数的位置分数系统，具有专用的 Unicode 字形，没有主流字体，并且在任何 OCR 管道或标记器中都没有覆盖。带有这些分数的手写记录 RS Khatians 是数百万个包裹的权威所有权记录，也是民事诉讼的常见主题，但还没有基准测试机器是否可以读取这些记录。我们推出了 KhatianDoc，这是一个由来自孟加拉国 Munshiganj Vumi（土地）办公室的 107 条真实 RS Khatian 记录构建的四任务基准：符号识别、16 进制到十进制转换、结构化字段提取以及超过 1,634 个 QA 对的法律文档问答。 真值 是手工转录的，由土地法从业者验证完全一致，并通过位置标记进行匿名化，以保持多跳问题所依赖的引用区别。我们在固定的零样本协议下评估了六个多模态 LLM（8B 至 72B+，开放式和封闭式）。五个 QA 类别（占我们分层集的 39.3%）从每个模型返回零正确答案；在算术任务中，每个发出数字的模型都比恒定均值基线差，精确匹配和近似匹配分数一致：去相关，而不是近似。审核我们自己的指标发现了两个相反方向的工件：我们纠正了拒绝评分错误并在原始分数旁边报告固定分数，并将夸大的元数据指标标记为上限。 KhatianDoc 记录的不是性能差距，而是功能的缺乏，并为未来系统提供了经过验证的 真值。代码和数据以及经过编辑的图像发布是公开的。