论文

EvoPool:用于标签高效专业监督的进化程序注释

EvoPool: Evolutionary Programmatic Annotation for Label-Efficient Specialized Supervision

模型训练合成数据

摘要

大语言模型 擅长一般任务,但在训练标签成本高昂的专业、高风险领域中表现不佳。我们用 EvoPool 来解决这个问题,EvoPool 是一个受达尔文进化论启发的进化多智能体框架。三个专门的代理迭代地提出可执行的注释器代码,一个小的验证集提供适合度信号,并且确定性门仅保留通过跨代可行性、多样性和边际贡献检查的注释器。池投票通过 EvoAgg 映射到软训练标签,EvoAgg 是一个文本感知聚合器,将语义特征与注释者投票特征相结合。编写的池的每个示例成本接近于零,并且在 100K 示例上比 LLM 注释快 4500 到 31000 倍。在涵盖生物医学关系提取、法律条款分类、复杂推理和密集多标签生物医学分类的 8 个 LLM 弱专业和复杂任务中的 7 个中,EvoPool 以平均 +0.141 宏 F1 击败了最强的 LLM 注释基线,在 ChemProt 上的峰值为 +0.301,在 PubMed 上的峰值为 +0.265。代码位于:https://github.com/tianyi0216/EvoPool