声音颤抖并不总是一种躲避：财报电话会议中文本和语音规避检测的基准测试

财报电话会议中现有的逃税检测方法侧重于文本记录，将逃税视为单一维度的现象。我们认为，口头沟通中的回避本质上是多维的：除了高管所说的内容之外，他们所说的方式还携带着独立和补充的信息。为了共同研究这些维度，我们引入了 DualEvasion，这是在财报电话问答中跨文本和音频进行规避检测的基准。该基准包含来自 60 次财报电话会议的 505 个带注释的问答对，每个问答对都有两个独立的标签：文字回避（直接与回避）和可操作为说话者信心的声音提示（自信与不自信）。我们的实验表明，最先进的多模态模型很难检测声音的信心，特别是在不自信的反应上。我们的分析表明，这些模型单独解释声音线索，而不是相对于每个说话者的基线。提供演讲者级别的参考可以带来一定的改进，但与人类的表现仍然存在巨大差距。