用于分布外泛化的 Epiplexity 引导数据选择和生成

人们越来越期望现代系统能够跨训练期间未指定的任务进行转移。哪些数据有助于在这些新的、意想不到的环境中进行概括？一种假设是，具有更多结构信息的数据可能包含可以在更广泛的下游设置中回收的共享电路和子程序。 Epiplexity 是最近提出的一种计算受限学习器可以从数据中提取的结构信息的度量，它提供了一种推理这种关系的机制。在本文中，我们展示了如何将 Epiplexity 操作为数据选择和合成数据生成的在线训练信号。对于选择，我们将缩放法则拟合到自然数据域的训练损失曲线，以预测作为训练标记函数的预期表皮增益，并使用该信号在训练期间自适应地确定域上的采样权重。对于合成数据生成，我们将生成器的奖励定义为学习者 Epiplexity 相对于先前生成的数据缓冲区的变化，并使用 REINFORCE 策略梯度来引导生成器实现 Epiplexity 最大化分布。在这两种情况下，较高的 epiplexity 预示着零样本和基于 微调 的任务的下游性能得到改善，支持了这样的假设：富含结构信息的数据产生跨域传输的表示。