Tokenmaxxing 的最佳编程语言：对 编码智能体 跨编程语言行为的调查

尽管 编码智能体 现在在各种编程语言中都非常有效，但本文首先表明，编程语言的成本（以词元计）可以非常显着。我们评估了关于 Python、Java、Rust 和 OCaml 编程问题的五个最新模型。我们仔细控制问题的难度，并表明词元消耗可能存在明显的变化，而这些变化在不同模型中是一致的。为了理解其中的原因，我们分析了智能体轨迹的结构和内容。首先，我们重新执行每个中间解决方案，并将每个轨迹抽象为一系列测试结果向量，然后标记连续解决方案之间的工作。这表明代理反复使用不熟悉的语言生成无法编译的解决方案，并修改已经通过的解决方案。其次，我们分析轨迹文本，发现代理在代码注释中规划解决方案，不信任所提供的测试，转而支持他们发明的输入，并通过 Python 原型设计来避开不熟悉的目标语言。我们的结果表明，按语言标记效率是在基准测试和开发多语言代理时应考虑的指标，并且对于 tokenmaxxer 来说，是最昂贵的工作语言的指南。