论文
DAR:使用代理工具进行道义推理
DAR: Deontic Reasoning with Agentic Harnesses
摘要
道义推理是通过将明确的规则和政策应用于特定案例的事实来回答问题的任务,例如计算法规规定的纳税义务或确定移民上诉的结果。基于 LLM 的道义推理的一个关键技术挑战是相关规则集可能很长且交叉引用,因此模型仍然可能无法找到特定推理步骤所需的规则。我们引入了道义代理推理(DAR),这是一种代理推理设置,其中模型根据需要与法规进行交互。我们在 DeonticBench 的硬子集上评估多种利用下的 DAR。在这些设置中,我们发现代理工具可以推动道义推理任务的前沿,但改进并不统一:较弱的模型通常在数值任务上性能下降,同时消耗更多的词元。