论文

Engagement Process:重新思考动作与观测的时间接口

Engagement Process: Rethinking the Temporal Interface of Action and Observation

智能体系统Agent 环境交互

摘要

数字与物理环境中的任务完成日益涉及复杂的时间性交互:动作与观测在不同时间尺度上展开,而不是与固定的观测-动作步骤对齐。为建模这类交互,我们提出Engagement Process(EP),一种交互形式化方法,它继承POMDP的决策论结构,同时在动作-观测接口中使时间显式化。EP将动作与观测表示为沿时间解耦的事件流,而非在固定决策步上成对的更新。该接口刻画了单智能体的时序问题,如深思延迟、延迟反馈与持续动作,同时支持更丰富的智能体侧组织、多速率协调以及子系统间的组合式交互。在玩具示例、LLM智能体与学习实验中,EP揭示了被基于步骤的接口所掩盖的时间行为,并使策略能够在显式时间成本下自适应。

Engagement Process:重新思考动作与观测的时间接口:论文配图
图1:交互界面对比。 POMDP 在固定决策时期将观察结果和行动配对;选项/半 MDP 围绕暂时扩展的高层行动组织互动。相反,EP 将代理和环境时间线分开,允许计算、修订和多速率反馈表示为解耦的动作-观察事件。