超越语言模型的价值：识别写作中的原创贡献

LLM已在写作任务中迅速采用，促进了检测LLM生成文本的工具的开发。然而，这些工具在很大程度上衡量了文档的表面文本有多少是由LLM撰写的，并且从根本上来说并不是为了衡量有多少信息内容或想法源自LLM本身而不是由用户在提示中提供的。在这项工作中，我们设计了一个框架，用于衡量一个人在语言模型本身可以轻松产生的价值之上增加了多少价值。该方法不需要训练或标记数据，也不会对文档的表面文本进行评分，从而使其免受文体混杂因素的影响。相反，它以不断增加的粒度级别提取文档的内容，使用LLM从每个部分表示重建文档，并将这些重建与仅根据任务描述生成的重建进行比较。我们将此框架称为“语言模型价值”(VOLM)，它衡量文档相对于LLM可以仅根据任务描述生成的替换级别文档的贡献。我们通过该框架在三个领域的具体实例来评估 VOLM：新闻文章、ICLR 同行评审和论证性论文。 VOLM 将人类创作的文档与由通用任务描述生成的匹配的 LLM 生成的文档分开，同时对内容保留转换保持基本不变，包括基于 LLM 的重建和往返翻译。我们进一步发现，越来越受限制的内容提取器减少了LLM生成的文本和人性化文本之间的残余差异，这证明了将信息内容与文体变化分开的重要性。我们希望这些结果能够鼓励进一步研究该框架的专门实例化以及更广泛地评估人类在LLM辅助写作中的贡献。