论文
STS:通过模拟企业系统生成符合业务约束的数据
Synthesis Through Simulation: Generating Coherent Enterprise Data via Scalable Agent-System Interaction
摘要
工具调用Agent已经成为企业AI的重要组成部分,但受业务与法律对企业系统、数据和数据库Schema的限制,大规模训练和评测仍受到严重约束。表格数据合成是一种自然替代方案,但其有效性从根本上受结构有效性和Schema可获得性限制;基于流程的方法则有相反的弱点:若不针对每个领域编写流程,通常难以保留真实分布。我们提出Synthesis Through Simulation(STS),一种无需数据库Schema的数据合成范式,由LLM Agent在模拟企业环境中通过执行受策略约束的API操作生成数据。由于生成数据的环境本身就定义了有效性,STS从构造上保证结构有效,并把有效性约束执行与分布建模解耦,使二者可以独立处理。STS中的领域无关Agent Generalist Populator(GP)进一步解决分布保真和合成可扩展性问题:在没有数据库Schema访问权限的情况下,GP在全部十个环境中实现平均0.88的边缘分布保真度和100%的约束满足率;统计合成方法因必须提供种子数据而无法用于其中七个环境,而拥有Schema权限的Agent由于任务组合脆弱,在航空环境的紧耦合工作流中有82%的轨迹失败。我们在https://github.com/SAP/synthesis-through-simulation开源完整框架、全部十个环境及生成数据集。
