论文
使用人工智能构建人工智能密集型软件:早期结果和衡量开发成本的警示故事
Building AI-Intensive Software with AI: Early Results and a Cautionary Tale on Measuring Development Cost
摘要
关于人工智能密集型软件开发的真实成本的实证报告仍然很少,而且现有的少数报告很容易出错,而这些错误永远不会在最终的数字中体现出来。我们报告了一项正在进行的案例研究的早期结果:一个六人学生团队使用普遍的人工智能辅助在一个学期内构建了一个完整的会话式入职助理——基于 RAG 的代码聊天、导游、依赖图、技术债务分析。我们使用三层成本模型(真实的人工智能支出、自我报告的人类努力、人类反事实)来进行开发,最初报告的成本率为 19.4 倍。后续检查发现了两个独立的错误——在统一费率订阅下推断每个词元的成本,以及用错误的地区劳动力价格对反事实进行定价——这两个错误一起使该比率膨胀了大约 2 倍;修正后的数字约为 9.9 倍。我们将这一更正作为一个早期的、可概括的发现来呈现:这两个错误都很容易犯,在最终的数字中不可见,而且在类似的报告中似乎很常见。我们概述了下一步的步骤,旨在为人工智能密集型开发提供更强大、可复制的成本计算方法。