论文

SAGE:用于依赖性感知表格数据生成的稀疏自适应指南

SAGE: Sparse Adaptive Guidance for Dependency-Aware Tabular Data Generation

上下文与知识上下文工程

摘要

生成高保真合成表格数据仍然是增强隐私敏感和资源匮乏领域的数据可用性的关键挑战。最近的方法通过将表行表示为序列来利用 LLM,但存在两个基本限制:(1)它们对特征依赖关系进行密集建模,引入了虚假相关性; (2)它们假设特征之间的静态关系,忽略这些依赖性如何随特征值变化。为了克服这些限制,我们引入了 SAGE(稀疏自适应指导),这是一种基于 LLM 的新型生成框架,可强制执行稀疏和动态依赖项指导。 SAGE 将特征离散化为价值感知的伪特征,并构建基于互信息的稀疏依赖图。该图通过显式上下文选择或隐式 logits 校正自适应地指导生成,使 LLM 在合成过程中能够专注于真正相关的信息。我们对六个数据集和多个任务进行的广泛实验表明,SAGE 不仅提高了数据保真度和下游实用性,与之前基于 LLM 的方法相比,F1 分数提高了 10%,而且还减少了 1 个点的策略违规。这些结果凸显了自适应结构在表格数据生成中的重要性,并为 LLM 的上下文相关控制提供了新的见解。