论文

CraftAlign:以特征为依据的AI故事评估与修改指导

CraftAlign: Feature-Grounded Evaluation and Revision Guidance for AI Stories

模型推理推理验证与自校正

摘要

大语言模型现在能够生成流畅且完整的故事,但由于公式化和不自然的原因,仍然受到陈词滥调、过度解释、线性因果推进和刻板结尾的影响,这些都是一种立即可识别的AI风味。现有的检测和评估方法通常停留在源标签或整体分数上,而修订方法通常通过局部编辑来针对预定义的问题,限制了它们支持多条可能的修订策略或引导故事全局信息释放、因果组织和结尾处理的能力。我们引入CraftAlign,这是一个框架,它通过同时评估人类/AI写作模式来对齐AI故事与人类讲故事的工艺,提供修订指导。CraftAlign由两个学习模块和一个推理时间的指导管道组成。基于Qwen3.5-9B构建的特征估计器预测了304个显性写作特征,跨越风格和叙述。一个条件化的能量模型评分了结果的特征配置,条件于可用的原始写作提示。在推理时间,CraftAlign应用了结构化的干扰,选择了将特征配置向人类写作模式靠近的更改,并将其转换为自然语言的指导,供另一个人编辑重新写完整的故事。实验表明,CraftAlign准确地区分了人类和AI写作模式,并且其指导在编辑者和人类研究中优于修订基准。

CraftAlign:以特征为依据的AI故事评估与修改指导:论文配图
图1:直接由人或 AI 作出判断,与 CraftAlign 依据特征进行评估和修订的方式之间的对比。