AI 编码智能体 会像人类一样记录吗？实证研究

软件日志记录对于维护和调试复杂系统至关重要，但目前尚不清楚 AI 编码智能体 如何处理这种非功能性需求。虽然之前的工作描述了人类记录实践的特征，但人工智能 编码智能体 的行为以及自然语言指令在管理它们方面的功效尚未被探索。为了解决这一差距，我们对 81 个开源存储库中的 4,550 个代理拉取请求进行了实证研究。我们将代理日志记录模式与人类基线进行比较，并分析显式日志记录指令的影响。我们发现，在 58.4% 的存储库中，代理更改日志记录的频率低于人类，尽管他们在更改日志记录时表现出更高的日志密度。此外，明确的日志记录指令很少（4.7%）且无效，因为代理在 67% 的时间里未能遵守建设性请求。最后，我们观察到人类执行了 72.5% 的生成后日志修复，充当“沉默的看门人”，在没有明确的审查反馈的情况下修复日志记录和可观察性问题。这些发现表明自然语言教学存在双重失败（即缺乏记录指令和代理依从性低），这表明可能需要确定性护栏来确保一致的记录实践。