OOM-RL II：Agent工程系统诊断中的证据约束

现实可能会确定某个结果已经发生，但没有确定是哪个演变过程产生了该结果或为什么产生该结果。这种区别在生产机器学习系统中很重要，这些系统的代码、配置和产物会随着外部反馈的积累而变化。我们在一个由人主导、Agent设计的定量交易系统中对其进行检查，使用预言机来表示已实现结果的外部来源，而不是完整的正确性规范。在一年内，该账户上涨并跑赢了大盘指数，而在主要回顾性指标下，年度阿尔法在统计上与零没有区别。回顾性选择的子期间包括不利的相对表现和在声明的近似参考下有条件的候选项水平弱点。工程记录了事件期间的文档更改，并且完整的推荐到运行时绑定不可用。存档不建立共同的冻结实例或独特的原因。该案例引发了结果-诊断差距：结果证据、评估对象身份和因果解释支持不同的主张。我们区分冻结实例、预先指定的自适应程序和临时开发；组织与档案相关的索赔可识别性和证据层次结构；并提出一个前瞻性的生产约束协议。一个说明性的兼容历史示例显示了事实绑定如何在不提供反事实效果的情况下解析推荐的指示对象。该协议是提议的而不是前瞻性验证的。外部反馈限制了结果声明，而出处和额外的识别结构决定了诊断的分辨率。