“我没有做出微观决策”：在协作中衡量、归纳和揭示目标级人工智能贡献

随着 大语言模型 (LLM) 越来越多地影响用户如何形成、完善和扩展他们的目标，人类与人工智能协作中的贡献对于用户校准自己的依赖以及评估者评估人工智能辅助工作变得至关重要。然而现有的方法专注于最终的工件，忽略了共同塑造目标本身的过程。我们引入了目标级归因框架 CoTrace，它将明确的目标分解为可验证的要求，并跟踪对话过程中的直接贡献和间接影响。将 CoTrace 应用于 638 个现实世界协作日志，我们发现虽然模型仅占目标塑造贡献的 11-26%，但它们在引入较低级别的具体需求方面的贡献要大得多，并做出各种间接贡献。通过受控模拟，我们表明交互设计选择会显着影响模型目标塑造行为。在一项用户研究中，让参与者接受目标级别的分析，会使他们感知到的贡献在 5 分制上改变近 2 分，揭示了用户在理解自己的人工智能辅助工作方面存在系统性错误。