IDP AutoOpt：代理驱动的文档处理管道配置优化

我们推出了 IDP AutoOpt，这是一个自主 LLM 代理，可以发现智能文档处理 (IDP) 管道的高性能配置。目前，对 IDP 提示、模型、OCR 设置和架构进行联合调整需要领域专家为每种文档类型花费 20 到 80 多个工时，并且不会随着企业添加文档类别而扩展。 IDP AutoOpt 运行一个闭环：它在小型标记集上对配置进行评分，诊断字段级错误，生成有针对性的编辑，并在编码生产专业知识的人类创作的领域技能的指导下进行重新评估。在医疗保健、营销情报和金融服务环境中部署的提取、分类和数据包分割任务中，IDP AutoOpt 以相同或更低的成本达到或超过了人类专家的准确度（在提取基准上，每页成本降低 4.6 倍，分别为 90.2% 和 81.6%），将配置时间从几周缩短到两个小时以下。我们进一步表明，代理 LLM 能力具有一个硬阈值，低于该阈值优化就会失败，并且精心策划的领域技能优于原始源代码访问，而在没有结构的情况下提供时可能会降低性能。我们还分享有关上下文管理和差异缓解的实践经验教训。该方法仅需要一个可配置的管道、一个评分函数和一个小型标签集，可以从 IDP 扩展到其他企业人工智能系统，例如 RAG 和多代理工作流程，这些系统中的配置成为部署的瓶颈。