论文

OECP:以查询条件证据包含概率减少逐段验证调用

Online Evidence-Containment Prediction over Text Spans under Distinct Queries

模型推理上下文与知识推理搜索与路径规划推理验证与自校正判别式推理与决策检索增强Jev

摘要

有证据依据的NLP系统常依次验证嵌套文本区域,因此核实一个区域会约束其他区域。我们将其形式化为在线证据包含预测(OECP):每个候选在精确验证前先预测,且最多查询一次。跨度包含关系恰为三角形二维乘积偏序,使OECP成为各次查询不重复的在线保序回归问题。当存在多个容许目标时,以端点秩压缩定义的有效规模为基准,最坏遗憾近线性,为˜Θ(m_eff);如标准问答那样只有一个固定目标时,则存在明确的多项式时间学习器,实现最优Θ(log m_eff)遗憾,并在真实NQ回合上运行。在Natural Questions上,包含结构带来较大的演绎收益,对尚未解决候选还带来较小的学习收益;这一结果在两个骨干与DPR层级上复现。期望搜索空间缩减(ESR)把这些概率转为决策,在SciFact、ERASER及DPR层级中用更少验证器调用定位证据;在带调用预算的DPR层级上,它优于四种近期外部选择器,并使固定读取器F1高于学习式和生成器贪心调度。

OECP:以查询条件证据包含概率减少逐段验证调用:论文配图
图1:OECP概览。(A)具有单调包含标签的嵌套区间,每个区间只验证一次。(B)将区间精确映射到m×m网格中的三角形,m为原始token长度。(C)按端点秩压缩到已观测端点构成的meff×meff网格。(D)不同查询的遗憾在原始网格上为Θ̃(m),压缩后因此为Õ(meff)。