迈向人类水平的图书写作能力

针对指令遵循和代理任务进行优化的大语言模型仍然无法满足高质量创意写作的要求。小说经常依赖于辅助调整模型经过明确训练以避免的行为，特别是欺骗、道德模糊和不可靠的叙述。因此，生成的故事通常在结构上看起来是正确的，但在风格上却保持通用、过度解释或缺乏人类文学行为的基础。我们提出了一个用于书籍规模创意写作的数据集构建和训练框架，该框架将监督微调重新构建为基于人类创作小说的提示书籍生成任务。从公共领域的小说开始，我们通过从高级前提到章节和场景级别的结构，逐步更精细地总结每本书，得出多分辨率的规划支架。然后，我们在训练过程中反转这种层次结构：模型学习将提示扩展为越来越详细的计划，最后扩展为人类原创的书籍文本。这种表述保留了人类散文作为最终的监督目标，同时使用中间摘要来使书籍规模的生成变得可学习。我们在这些提示书轨迹上训练了一个长上下文语言模型，并研究这个目标是否会让一代人从助理风格的散文转向人类文学写作。