Intent2Tx：将自然语言意图转化为以太坊交易的LLM基准测试

大语言模型（LLM）的出现为Web3提供了变革性的交互界面，但现有基准未能刻画将高层用户意图转化为功能正确、依赖状态的链上交易这一任务的复杂性。我们提出Intent2Tx，一个高保真基准，包含29,921个单步和1,575个多步实例，均细致地源自300天的真实以太坊主网交易轨迹。与依赖合成指令的先前工作不同，Intent2Tx将自然语言意图扎根于11个类别的真实协议交互，包括多样的长尾去中心化金融（DeFi）原语。为实现严格评估，我们提出一个执行感知框架，通过对分叉主网环境的差分状态分析，超越表层的文本匹配。对16个最先进LLM的广泛评估表明，尽管扩展和检索增强能提升逻辑一致性与参数精度，但当前模型在分布外泛化和多步规划上仍然吃力。关键的是，我们基于执行的分析表明，语法上有效的输出往往无法实现预期的状态转移，凸显了当前"推理到执行"能力的重大差距。Intent2Tx为在以意图为中心的Web3生态中开发自主、可靠的智能体提供了重要基础。代码与数据：https://anonymous.4open.science/r/Intent2Tx_Bench-97FF 。