论文
CONDESION-BENCH：组合动作空间中 大语言模型 的条件决策
CONDESION-BENCH: Conditional Decision-Making of Large Language Models in Compositional Action Space
摘要
由于其上下文理解和推理能力，大语言模型 作为高风险领域的决策支持工具已被广泛探索。然而，现有的决策基准依赖于两个简化的假设：行动是从一组有限的预定义候选者中选择的，并且限制行动可行性的明确条件没有纳入决策过程。这些假设未能捕捉现实世界行为的组成结构以及限制其有效性的明确条件。为了解决这些限制，我们引入了 CONDESION-BENCH，这是一个旨在评估组合动作空间中的条件决策的基准。在 CONDESION-BENCH 中，操作被定义为对决策变量的分配，并受到变量、上下文和分配级别的显式条件的限制。通过采用基于预言机的决策质量和条件遵守评估，我们为 LLM 作为决策支持工具提供了更严格的评估。