LLM反编译代码细化的记忆平台

我们引入了一个记忆层：一个项内控制，将反编译器输出的 LLM 细化从其输入中恢复的内容与从其先前恢复的内容分开。细化一个函数，然后根据标识符已被破坏的输入再次细化它，并测量幸存的内容。由于比较是在项内进行的，因此语料库难度无法做出贡献；它需要 20 个 API 调用。应用于我们的分析计划提交后编写的函数，因此没有发布的模型可以记住它们，它报告了两件事。恢复是真实的：精炼输出位于从其自己的输出词汇表构建的手臂匹配排列零上方 +0.072 至 +0.137。但它并不依赖于我们消融的输入：破坏输入的数据流会将命名增益改变+0.001（95% CI [-0.026，+0.026]），而删除类型前缀或排列名称不会再改变它。来自另一个供应商的第二个精炼器提前注册并给出字节相同的输入，再现了这一点——十二个对比，两个模型，十二个空值。可读性始终处于上限，因此读者不会收到任何信号。零值是有限的，而不是绝对的：低于 0.056 的贡献是看不见的，并且消融使操作保持完整，因此仅从这些命名仍然是一个竞争性的解读。没有证实注册的假设，我们完整地报告了其背后的五种仪器故障，包括对治疗手臂有偏见的重新组装Harness和我们注册的等效检查器，但没有检查它对我们的输入是否有效。