具有候选独立块因果注意力的排列鲁棒决策建模

决策模型通常对以单个序列编码的一组可变大小的候选动作进行评分。此设置与生成系统内的系统 1 组件越来越相关，其中候选可能会在运行中以不同的方式提出或排序。标准因果交叉编码具有表现力，但它可以使候选者的分数取决于序列化顺序而不是底层决策问题。我们引入了与候选者无关的块因果注意力，它保留共享上下文和每个候选者内的因果计算，同时阻止跨候选者信息流并重置候选者位置。我们将此架构与 Gemma 3 1B、Qwen3 1.7B 和 Qwen3 4B 主干网的标准因果注意力和互补不变基线进行比较。独立于候选者的注意力持续降低排列敏感性，同时保持竞争性决策质量；消融表明候选隔离是效应的主要来源，位置重置完成了预期的对称性。一项更大规模的 Qwen3-4B 研究利用更多的训练数据进一步检验了所提出的架构的行为。代码可在 \href{https://github.com/guyAmit/ci-decision-models}{\textcolor{blue}{项目存储库}} 获取，\href{https://huggingface.co/Guy-Amit/qwen3-4b-ci-decision-4096-poc}{\textcolor{blue}{Qwen3-4B 模型工件}}可在 Hugging Face 上获取。