好得令人难以置信？诊断并缩小人工智能偏好与真实用户参与度之间的差距

大型语言模型越来越多地用于生成和评估在线内容，但仍不清楚它们与更高参与度相关的品质是否与真实用户的反应相匹配。我们使用来自知乎、Quora 和 Reddit 的 25,978 个问题的 117 万个答案来研究这个问题，在四个问题内参与度级别上比较真实的平台答案和人工智能生成的答案。我们引入本体论偏好测量，它代表三个维度的答案：逻辑、情感和表达。我们发现人工智能偏好和真实用户参与度之间存在系统性差距：随着目标参与度的增加，大语言模型会添加更明确的逻辑结构，而真实用户参与度与情感和表达显着性的相关性更强。我们称这种趋势为逻辑过度束缚。基于这一诊断，我们提出了本体屏蔽推理自动编码（OMRA），这是一种受控干预，可以掩盖和重建过度解释的跨度，同时保留立场、事实内容和连贯性。在四个大语言模型系列中，OMRA 将测得的差距平均减少了 54.4%。在人类评估中，OMRA 在与匹配的真实平台答案的配对偏好判断中赢得了 62.4%，尽管真实答案通常被认为是人类编写的。