GenCtrl——生成模型的形式化可控性工具包

随着生成模型日益普及，对生成过程进行细粒度控制的需求十分迫切。然而，尽管从提示到微调的受控生成方法不断涌现，一个根本问题仍未得到回答：这些模型究竟是否真正可控？在这项工作中，我们提供了一个理论框架来正式回答这一问题。我们将人机交互建模为一个控制过程，提出一种新算法来估计对话设定下模型的可控集合。值得注意的是，我们给出了估计误差作为样本复杂度函数的形式化保证：我们为可控集合估计推导出概率近似正确（PAC）的界，该界分布无关、除输出有界性外不作任何假设，并适用于任何黑盒非线性控制系统（即任何生成模型）。我们在控制对话过程的不同任务上，对语言模型和文生图生成实证验证了该理论框架。我们的结果显示，模型可控性出人意料地脆弱，且高度依赖实验设定。这凸显了进行严格可控性分析的必要性，应将重心从单纯尝试控制转向首先理解控制的根本极限。