KrishokChat：可追溯来源的多任务孟加拉农业基准，具有安全关键化学品咨询

我们介绍 KrishokChat，这是一个包含 85,979 个实例的孟加拉农业基准，由 284 个政府出版物、13 个机构和 6 种地区方言构建而成。该基准包括四个轨道：一般知识 QA、治疗 QA、安全拒绝和重新查询以及表 QA。它还包括通过实地采访独立收集的 1,000 个查询的真实农民基准，以衡量向真实农民语言的转移。每个提取的实例都保留引用级别的出处。治疗质量保证还提供结构化的化学痕量阵列，用于剂量级别的可审核性。我们评估了五个零样本基线和一个微调模型。无论模型规模如何，闭门知识都被证明是不够的。神谕证据缩小了差距，但化学幻觉的持续下限为 4.05% 至 7.00%。 KrishokChat 上的 微调 大大优于 General QA Token F1 上最强的零样本基线。然而，结构化表格推理和农民语言迁移在很大程度上仍未解决。探索性分析进一步表明，微调 减少了安全关键查询的拒绝行为，表明除了受监督的 微调 之外还需要额外的安全调整。我们发布 KrishokChat 作为可追踪的基准和审计资源，以支持孟加拉语的有证据依据且具有安全意识的农业语言建模。