论文
ClarifySTL:通过需求澄清进行 STL 转换的交互式 LLM 代理框架
ClarifySTL: An Interactive LLM Agent Framework for STL Transformation through Requirements Clarification
摘要
信号时态逻辑 (STL) 是一种用于指定网络物理系统 (CPS) 实时行为的形式语言。自动将自然语言需求转换为STL规范受到越来越多的关注。最近利用 大语言模型 (LLM) 的努力已经展示了令人印象深刻的性能,但实践中的一些自然语言要求包含模糊或不明确的信息,这对于 LLM 来说仍然具有挑战性。为了应对这些挑战,我们提出了 ClarifySTL,这是一个交互式 LLM 代理框架,可通过需求澄清来增强 STL 转换。 ClarifySTL 首先检测指示需求中未指定信息的模糊表达式。如果检测到任何模糊之处,它会生成有针对性的澄清查询,以指导用户补充要求,直到提供所有必要的详细信息。随后,如果 ClarifySTL 检测到歧义,它会制定有针对性的歧义澄清查询,并根据用户反馈更新需求,直到解决所有歧义。最后,利用LLM将含糊、不明确的需求转化为STL规范。这个交互式框架确保生成的STL公式忠实地捕捉用户意图,同时减轻用户的负担。我们在代表性基准 DeepSTL 和 STL-DivEn 以及我们新推出的 AmbiEval 基准上评估 ClarifySTL,该基准专门用于评估代理在处理模糊性和模糊性(包括检测和查询生成)方面的性能。实验结果表明ClarifySTL是有效的。