论文

开放式信息搜索 Agent 如何获取信息

On Open-Ended Information Seeking for Information Elicitation Agents

模型评测模型行为与机制分析

摘要

信息诱导是一个开放式的信息寻求问题,其中交互可以在许多潜在有价值的方向上展开,要求诱导者在新信息出现时不断确定要寻求哪些信息。在 Agentic 启发中,这些决策可能会委托给基础模型,但模型选择如何塑造最终的信息查找行为仍有待研究。我们研究了 LLM 中对信息价值的判断如何变化,以及这些差异如何影响顺序信息搜索。我们首先使用一组共享的信息和启发目标,在跨越多个模型系列和参数量表的 11 个 LLM 中检查这些判断。然后,我们开发了一种受控启发模拟,其中不同的模型遇到相同的信息空间并使用相同的选择规则,将这些判断与问题生成和受访者行为隔离开来。使用此设置,我们描述了在启发过程中特定于模型的信息寻求偏好所出现的广度-深度行为。我们进一步研究交互历史如何改变预期信息的评估和后续选择。我们通过敏感性分析和 消融 来测试这些发现的稳健性和边界,这些分析涉及激发者可用的机会、用于操作信息寻求偏好的响应标签、交互历史的存在以及冗余是否与评估明确相关。项目代码、数据和轨迹文件可在 https://github.com/infosenselab/open-elicitation. 获取