从测试时间缩放到可重用内存：测量文本到 SQL 的结晶

测试时间缩放可以纠正困难的文本到 SQL 查询，但额外的计算通常会在每个答案后被丢弃。系统越来越多地保留经过验证的修复事件，但评估仍然报告一个端到端分数。它无法区分重复出现的问题的重播和未见过的问题的帮助，也无法识别负责任的记忆选择。我们将衡量这个未来价值称为结晶问题。我们的受控评估使单次求解器保持固定，并一次改变一种内存选择。我们分别测量重播、跨问题保留和保留的同一数据库传输。在 BIRD 上，存储经过验证的更正查询将保留的首次尝试准确性提高了 4.34 个百分点。这一增益比针对相同问题的按需修复所提供的准确度提升了 44.4%。受控干预将数据库特定内容确定为主要操作成分。可靠的验证和更广泛的检索覆盖范围产生了有支持的收益；更丰富的格式和详细的 检索器 则没有。开源代码、评估工件和复制说明可从 https://github.com/ai-jiaqian/text-to-sql-memory-crystalation 获取。