SynAE：用于测量工具调用代理评估的合成数据质量的框架

如今，工具调用代理通常在执行跟踪的静态数据集上进行评估或测试，包括输入命令、代理响应和关联的工具调用。然而，内部生产数据集通常不足或无法用于测试；例如，它们可能包含敏感或专有数据，或者它们可能太稀疏而无法支持全面测试（尤其是预部署）。在这些环境中，从业者越来越多地用合成数据集替换或增强真实数据集以进行评估。一个关键的挑战是量化这些合成数据集与真实数据之间的关系。我们引入了 SynAE，这是一个评估框架，用于评估多轮、工具调用代理的综合基准复制和增强真实数据轨迹特征的效果。 SynAE 评估四个指标类别的合成数据的有效性、保真度和多样性：(i) 任务指令和中间响应，(ii) 工具调用，(iii) 最终输出，以及 (iv) 下游评估。我们使用最新的代理基准评估 SynAE，并通过实际且受控的生成方案测试常见的合成数据故障模式。 SynAE 检测数据有效性、保真度和多样性方面的细粒度变化，并表明没有任何单一指标足以充分表征合成数据质量，从而促进对代理测试的合成数据进行多轴评估。 SynAE 的演示位于 https://synae-2026-synae-demo.static.hf.space/index.html，代码位于 https://github.com/wsqwsq/SynAE。