初探编码智能体开源社区AI贡献规则合规情况

开源社区充斥着人工智能生成的贡献。为了辩护，他们制定了贡献规则来规范 编码智能体 的行为，从全面禁止、强制披露到验证门和人工签核。然而，编码智能体 是否阅读并遵守这些规则以及在开源存储库中的行为仍然未知。为了估计 编码智能体 的实际规则合规性，我们将 49 个包含 AI 贡献规则的存储库中的 106 个问题整理到 RepoComplianceBench 中。我们根据存储库的规则判断每次运行的轨迹，衡量代理是否拒绝贡献、如实披露其帮助、清除所需的验证门或将关键步骤升级给人类。我们还测试额外的提示、规则披露或合规性验证者的反馈是否有助于解决这种情况。我们对四个前沿模型的实验表明，今天的代理几乎从不主动检索贡献规则。代理通过提醒提示、规则引用和验证者反馈来进行披露和验证；然而，在我们测试的任何条件下，他们都不会拒绝在人工智能禁止的存储库中做出贡献。现状表明，验证和披露问题可以通过现有机制解决，但执行禁令和人为升级仍然是一个悬而未决的问题。