论文
基于证据的优化:用于减少自动个人文档重写中 LLM 幻觉的分层工程框架
Grounded Optimization: A Layered Engineering Framework for Reducing LLM Hallucination in Automated Personal Document Rewriting
摘要
大语言模型(LLM)越来越多地应用于申请人跟踪系统的简历优化,引入了与一般文本生成不同的幻觉失败:不合时宜的技术注入、跨域术语污染、结构突变和内容伪造。我们提出了基于证据的优化,这是一个五层框架,结合了时间上下文验证、确定性污染检测、结构不变执行、提示层面的证据约束和评估代理。在跨越 14 个行业的 25 份合成简历上进行的消融实验中,在三个 LLM、四种温度设置和六层配置中,未设防的基线每份简历会产生 2.48-5.36 个检测到的幻觉。在独立于主动防御的探测器中,在所有条件下,时间幻觉都减少了 50-95%;总体检测到的幻觉率下降至 0.04-0.24。仅提示级证据约束就可以通过强大的指令跟踪模型在低温下实现零检测到的幻觉;更高的温度和更弱的模型表明需要确定性层作为补充。我们发布污染分类法、评估代码和原始数据。