Pramana: 借助Navya-Nyaya微调大语言模型以实现认识论推理
Pramana: Fine-Tuning Large Language Models for Epistemic Reasoning through Navya-Nyaya
摘要
大语言模型能生成流畅的文本,却在系统性推理上存在困难,常常产生自信却缺乏依据的幻觉断言。当Apple研究人员在数学问题中加入无关上下文时,LLM性能下降了65%(Apple Machine Learning Research),暴露出表面推理之下脆弱的模式匹配。这种认识论差距——即无法将断言建立在可追溯的证据之上——限制了AI在需要论证的领域中的可靠性。我们提出Pramana,一种新方法,通过在Navya-Nyaya逻辑——一个拥有2,500年历史的印度推理框架——上进行微调,教会LLM显式的认识论方法论。与通用的思维链提示不同,Navya-Nyaya强制执行结构化的6阶段推理:SAMSHAYA(怀疑分析)、PRAMANA(证据来源识别)、PANCHA AVAYAVA(带普遍规则的5支论式)、TARKA(反事实验证)、HETVABHASA(谬误检测)以及NIRNAYA(判定,区分知识与假设)。这种逻辑与认识论的整合提供了标准推理方法所缺失的认知脚手架。我们在55个Nyaya结构化的逻辑问题(约束满足、Boolean SAT、多步演绎)上对Llama 3.2-3B和DeepSeek-R1-Distill-Llama-8B进行微调。阶段1在留出评估上达到100%的语义正确性,尽管严格格式遵循率仅为40%,这表明即使结构强制并不完善,模型也能内化推理内容。消融研究表明,格式提示和温度对性能有关键影响,最优配置因阶段而异。我们在Hugging Face上发布了所有模型、数据集和训练基础设施,以支持对AI推理认识论框架的进一步研究。