论文

IDRAAK:从多代理 NLP 到技术要求中语义漂移检测的少样本提示

IDRAAK: From Multi-Agent NLP to Few-Shot Prompting for Semantic Drift Detection in Technical Requirements

模型评测模型能力评测

摘要

跨语言翻译技术要求可能会引入语义漂移,改变数值约束、极性、模式或其他规范关键含义。 IDRAAK 是一个可解释的框架,用于使用独立于语言的语义需求表示 (SRR) 来检测此类漂移,并评估了六种检测工作流程,从确定性比较到多代理验证和少量提示。在来自 10 个工程领域的 300 个要求的 890 个综合扰动中,具有六个小样本示例的单个 LLM 调用实现了 MCC=0.888 和 F1=0.983,优于评估的结构化和多阶段替代方案。对 PAWS-X(805 对,5 种语言)和 XNLI(700 对,7 种语言)的进一步评估揭示了结构化方法和基于 LLM 的方法的互补优势和局限性。确定性 SRR 比较在技术要求上表现强劲 (F1=0.898),但在一般领域文本上表现不佳 (F1=0.012),而结构化证据则提高了对抗性释义的表现。事后 Platt 缩放进一步提高了置信度校准。结果表明,增加代理复杂性并不一定会改善语义漂移检测,简单的几次提示可以提供强大而有效的替代方案。