论文
TRACE:带有可靠引用证据的旅游推荐
TRACE: Tourism Recommendation with Accountable Citation Evidence
摘要
旅游业是对话式推荐系统 (CRS) 的高风险环境:一旦旅行者采取行动,听起来似乎合理的建议可能会浪费真正的金钱和旅行时间。现有的 CRS 基准主要通过实体提及的单一 Recall@k 分数来评估系统,旅游特定资源添加空间或知识图背景,但它们都没有将多轮推荐与逐字审查范围证据和拒绝恢复结合起来。这就给旅游推荐留下了一个评估差距,同时又是值得信赖的、可验证的和适应性的:根据多方面的偏好(例如美食、价格、氛围、步行距离)推荐正确的兴趣点(POI),用先前访客的可验证证据来证明每个建议的合理性,以便旅行者可以在不试错的情况下采取行动,并在对话中第一个推荐被拒绝时恢复。我们引入了 TRACE,其中每个项目都是多轮旅游推荐对话,具有评论跨度引用和明确拒绝轮次:超过 2,400 个 Yelp POI 的 10,000 次对话和横跨美国八个城市的 34,208 条评论,搭配 14 个检索、规划和 LLM 基线,以及在准确性、基础和恢复下组织的 25 个指标。在这些基线上,TRACE 揭示了三项能力差距:LLM 零射击在封闭集 Recall@1 和拒绝恢复方面领先,但引用密度低于 检索器;非LLM 检索器实现字面引用与来源对应,但精度较低;多审阅综合在恢复时失败。证据一致性分数与人类引用精度一致(Spearman rho=+0.80,p<10^-20),配对 t 检验再现了每个基线的排名(主要对比上的 p<0.01)。 TRACE 将负责任的旅游推荐重新构建为联合目标(正确的 POI、可验证的证据、自适应修复),而不是单轴排行榜。