通过轨迹抽象研究语言Agent的行为

对语言Agent的科学研究需要行为变量来支持跨任务和模型的假设。我们将这个研究问题表述为学习和测试轨迹抽象的层次结构。具体的递归过程首先测量角色和阶段索引事件，提出时间约束关系，并测试它们在条件下的稳定性。然后，它根据选定的关系构建情节级别的主题变量，并对这些变量重复进行分析。显式测量函数将每个抽象级别连接到原始轨迹。观察和随机方案实验评估由此产生的假设，而干预实现之间的比较决定是否应该保留、完善或限制抽象。我们推导出可接受的缩减的有限深度界限，识别协议对固定抽象的影响，并描述实现分歧和抽象错误的组成。有限样本测试使预计干预的一致性具有可操作性，构建的示例说明了主题构建和抽象细化。该表述将这种实验方法与语义分类、定性理论归纳和行为模型恢复区分开来。它指定了一个发现可概括的行为假设的拟议研究程序，其中与文献相关的新颖性与与模型相关的惊喜分开评估。