论文

PhysicsMate:基于课程的孟加拉语中学物理 QA 基准,具有小模型适应能力

PhysicsMate: A Curriculum-Grounded Bengali Benchmark for Secondary Physics QA with Small-Model Adaptation

模型评测基准与评测资源

摘要

孟加拉中学教育缺乏以课程为基础的 STEM 问题解决基准,通用语言模型难以满足物理问题所需的精确术语、单位约定和推导。我们介绍了PhysicsMate,这是一个由 1834 个问答对组成的基准,根据国家课程和教科书委员会 (NCTB) 9-10 年级物理大纲构建,并基于跨十种本体类型的 1760 个节点和 2600 个边的多关系知识图。我们使用统一的配方对 0.6B、1.7B 和 4B 参数进行低秩适应,并证明所有尺度的闭卷准确率均显着提高(+5.5、+15.0 和 +23.3 个百分点)。节点型分析表明,适应性受益最多的是由物理量和命名定律组成的结构化课程知识,而受益最少的是松散指定的实体级知识。 4B 模型已被改编并量化为小型离线二进制文件,可用于资源受限环境中的本地推理,并为在连接和硬件有限的环境中提供与课程一致的物理支持的可行途径。