论文
LLM智能体可以担任CFO吗?动态企业环境中资源分配的基准
Can LLM Agents Be CFOs? A Benchmark for Resource Allocation in Dynamic Enterprise Environments
摘要
大语言模型(LLM)使代理系统能够在复杂的任务中进行推理、计划和行动,但仍不清楚它们是否可以在不确定的情况下有效地分配资源。与短期反应性决策不同,分配需要随着时间的推移投入稀缺资源,同时平衡相互竞争的目标并保持未来需求的灵活性。我们推出 EnterpriseArena,这是第一个评估代理长期企业资源配置的基准。它在 132 个月的企业模拟器中实例化了 CFO 式的决策,结合了公司级财务数据、匿名业务文档、宏观经济和行业信号以及专家验证的运营规则。环境是部分可观察的,并且只能通过预算组织工具来揭示状态,迫使代理在信息获取和保护稀缺资源之间进行权衡。对 11 个高级大语言模型进行的实验表明,这种设置仍然极具挑战性:只有 16% 的运行能够在整个视野中幸存下来,而且较大的模型并不能可靠地优于较小的模型。这些结果表明,不确定性下的长期资源分配是当前大语言模型代理人的明显能力差距。
