论文

独立校验也可能共享错误:卫星目录数据管道案例

Independent Verification Paths Are Not Independent: A Case Study of Common-Mode Failure in a Satellite Catalogue Pipeline

模型评测鲁棒性、公平性与可信度评测

摘要

数据管道常用冗余计算保护结果:采用不同技术的两条路径计算每个待发布数值,结果不一致时阻止流程完成。本文在两个地球轨道物体公开登记库的跨目录完整性研究中发现,这类校验可能失效。基于集合的Python路径与对输出RDF图执行的SPARQL查询,在七项计数上均报告交叉检查一致,但其中三项错误,一项高估四倍以上(932对220)。两条路径使用同一组常量,共享了对源数据状态词汇的误读,因此校验无法发现共因错误。作者给出错误机制、逐对象对账记录,以及三项回溯源文档的检查,并在错误代码与修正版上测试。随后利用管道此前未读取的对象阶段历史文件复查修正版,发现261项差异中仍有42项是虚假的,三项检查均未标记。最后,在固定三个模型版本、禁用工具的受控重复实验中,请求生成的75条“独立校验”路径有72条重复了错误计数;即使提示中加入源数据的代码定义,仍有30条中的29条重复错误。证据限于这一管道和这一类缺陷:冗余验证了实现一致性,未发现最终发布结果中的语义错误。