论文

格式化什么以及如何格式化:文档格式化的基准和工作流程方法

What to Format and How: A Benchmark and Workflow Approach for Document Formatting

模型评测基准与评测资源

摘要

大语言模型 (LLM) 的最新进展为自动文档格式化开辟了新的可能性。然而,现实世界的格式化通常需要根据文档内容来识别目标。这种内容感知设置仍然具有挑战性且尚未得到充分探索,主要是由于缺乏专用的评估数据集。为了在现实的内容感知场景中进行评估,我们引入了 DocFormBench,这是一个将文本到格式评估扩展到各种格式化要求的基准,以及准确性和效率的指标。为了减少格式化过程中现有方法中的冗余文档读取,我们提出了 DocFormFlow,这是一种工作流格式化方法,它将目标本地化与修改执行分离为格式化内容和方式。跨多个 LLM 和多模式模型的广泛实验表明,与代表性基线相比,DocFormFlow 持续提高了格式化准确性,同时减少了词元消耗。进一步分析表明,精确的目标定位是影响格式化性能的主要因素。我们希望 DocFormBench 和 DocFormFlow 能够促进未来对更智能、更可靠的文档格式的研究。