Aspire：模型能否从模糊的目标中自我进化？

人类学习的许多重要形式都是从一个模糊的目标开始的，例如“成为一名更好的物理学家”或“提高研究水平”。学习者必须解释目标，识别能力差距，决定如何学习，并确定他们是否真正有所提高。相比之下，现有的 LLM 自我进化工作通常从人类指定的任务和评估指标开始，将自我进化简化为优化明确的目标，而不是决定学习什么以及如何学习。我们推出了 ASPIRE，一个模糊目标驱动的自我进化基准。 ASPIRE仅提供自然语言能力目标，而下游评估任务仍然隐藏。代理必须通过选择数据和更新方法、构建训练和验证信号以及决定何时评估来实现目标。 ASPIRE 在统一的交互环境中支持模型权重和代理Harness的演化，并在一组隐藏的、专家编写的涵盖 6 个目标的 520 个项目上评估生成的系统。我们的实验表明，模糊的目标将搜索努力转向目标解释。当前的智能体通常会完成训练和Harness编辑循环，但重量水平增益仍然稀疏且不稳定，并且最强的进化Harness仍然低于工程 Qwen-Agent 参考值。智能体经常使用不匹配的数据进行训练，并相信狭隘的自我评估，因此局部收益无法转移到隐藏评估，而持续的搜索和训练可能会消除早期的改进。