沙丘社区
论文

ES-Trace：超越模型卡的代码模型伦理来源审计

ES-Trace: Auditing Ethical-Sourcing Disclosure of Code Generation Models Beyond Model Cards

Zhuolin Xu, Haibo Wang, Shin Hwei Tan
模型评测鲁棒性、公平性与可信度评测

摘要

代码生成模型越来越多地用于软件开发，但它们的开发引发了涉及知识产权、隐私、公平性、劳动实践和环境影响的道德采购问题。尽管之前的工作已经定义了代码生成的道德采购标准，但仍不清楚现有模型披露了多少证据以及在哪里可以找到这些证据。我们引入 ES-Trace，这是一个用于道德采购披露审计的框架，它使用模型文档可追溯性图 (MDTG) 来跟踪模型卡之外​​的披露证据，该图表示模型、版本和文档工件之间的关系。我们将 ES-Trace 应用于 10 个发布商的 26 个模型，涉及 77 个文档和 20 个 ES-CodeGen 方面。仅模型卡审核的平均得分为 1.77/5，而解决声明的引用则将其提高到 2.82/5，其中大部分增长来自出版商在结构化元数据中声明的文档。我们研究的主要发现包括：(1) 即使将审计扩展到完整的文档范围，与社会和劳工相关的方面仍然缺乏记录，(2) 解决文档引用大大增加了观察到的披露，将平均分数从 1.77/5 提高到 2.82/5，(3) 仅模型卡审计可能会错误地描述发布级别的披露变化，(4) 文档不匹配可能会将证据与错误的模型或版本相关联，这突出表明需要明确模型——跨文档工件的版本绑定和一致性。我们的研究呼吁进行具有参考意识的道德采购披露审计、明确的模型版本绑定和文档工件之间的一致性，以及对当前未充分报告的社会和劳工相关方面进行更强有力的记录。

ES-Trace：超越模型卡的代码模型伦理来源审计：论文原图
图 1.ES-Trace 概述。 ES-Trace 使用 MDTG 为 RQ3 选择文档、分配范围和配对模型。 LLM 回答每个文档方面对的 Q1-Q5，ES-Trace 导出并汇总分数。从左到右的五阶段工作流程：构建 MDTG、处理文档、执行基于 LLM 的评估、导出分数并按文档范围进行汇总。 MDTG 还为 RQ3 的聚合和 ModelRelation 对提供范围成员资格。人工验证显示在评估阶段上方。