论文

标准库还是第三方? LLM 辅助零依赖 Python 库的实证性能和正确性

Stdlib or Third-Party? Empirical Performance and Correctness of LLM-Assisted Zero-Dependency Python Libraries

模型评测基准与评测资源

摘要

第三方 Python 库会带来依赖管理开销、供应链风险以及受限环境中的部署摩擦。一个自然的问题是,仅使用 Python 的标准库就可以复制这个生态系统的多少部分,以及正确性和性能成本如何。我们通过 Zerodep 经验性地解决了这个问题,Zerodep 是一个不断增长的单文件 Python 模块集合,每个模块都是流行第三方库的仅 stdlib 重新实现,在严格约束下在 LLM 协助下开发:无外部导入、单个文件、嵌入式 API 兼容性以及针对参考库的强制正确性验证。 Zerodep 跨越 12 个类别的 40 多个模块——包括序列化、网络、加密、代理协议和文本处理——为两个相互关联的问题提供了一个受控测试平台:(1) stdlib 在哪里足够? (2) LLM 能否在严格的符号约束下有效生成正确的高性能代码?系统基准测试表明,在大多数情况下,仅使用 stdlib 的实现可以实现同等性能(在参考值的 2 倍以内)。主要的性能悬崖是 C 扩展支持的计算(图像处理、二进制序列化、低级加密),而不是纯 Python 第三方库的固有开销。相反,许多广泛使用的库都带有 LLM 生成的 stdlib 重新实现所避免的架构开销,从而在多个类别中产生 5--115 倍的加速。我们描述了跨复杂性层和库类别的 stdlib 功能边界,讨论了 LLM 辅助开发的成功之处以及需要迭代人工修正的地方,并检查了对大规模无依赖软件工程的影响。 Zerodep 是开源的,位于 https://github.com/Oaklight/zerodep。