论文
PO4ISR 的再现性分析:诊断和减轻基于 LLM 的会话推荐中的语义漂移
A Reproducibility Analysis of PO4ISR: Diagnosing and Mitigating Semantic Drift in LLM-Based Session Recommendation
摘要
像 PO4ISR 这样基于推理的 大语言模型 (LLM) 在基于会话的推荐中树立了新的基准。然而,它们在不同语义领域的推理能力的可重复性仍有待探索。在这项工作中,我们对 PO4ISR 进行了严格的再现性研究,以评估其泛化极限。我们的分析揭示了一种关键的失败模式:标准推理提示在长时间会话中会遭受严重的上下文漂移,导致在语义复杂的数据集(例如 Games 和 Bundle)上的性能下降。为了量化和解决这种稳定性差距,我们引入了 PO4ISR++,这是一种鲁棒性增强的实现,集成了反射性提示和一致的排名检测。与原始的静态提示策略不同,我们的方法动态适应跨域提示。我们在 ML-1M、游戏和捆绑包上对原始实现和强大的变体进行了基准测试。我们的结果证实,虽然原始模型在新领域中举步维艰,但我们的可重现扩展恢复了性能,在 Games 上稳定增益高达 54%,在 Bundle 上稳定增益高达 96%。我们发布了开源工件,包括复制的基线和我们的增强框架,以促进基于 LLM 的推荐的可靠的未来研究。