论文
DiscoTrace：人类和 LLM 在信息搜索问答中的回答策略的表示和比较
DiscoTrace: Representing and Comparing Answering Strategies of Humans and LLMs in Information-Seeking Question Answering
摘要
我们引入了 DiscoTrace，这是一种识别回答者在回答信息寻求问题时使用的修辞策略的方法。 DiscoTrace 将答案表示为一系列与问题相关的话语行为，并与原始问题的解释配对，并在修辞结构理论解析之上进行注释。将 DiscoTrace 应用于来自九个不同社区的答案表明，社区对答案构建有不同的偏好。相比之下，LLM 的答案并没有表现出修辞多样性，即使是在被提示模仿特定的人类社区回答指南时也是如此。 LLM 还系统地选择广度，解决人类回答者选择不解决的问题的解释。 DiscoTrace 在结构上揭示了丰富的、社区敏感的回答行为，可以指导实用的 LLM 回答者的开发，这些回答者更适合上下文信息需求。