有效的绩效衡量：从收益电话会议中提取 KPI 的挑战和机遇

财报电话会议是上市公司财务信息的主要来源。然而，从这些调用中提取信息很困难。与美国证券交易委员会 (SEC) 要求报告公司财务状况的模板文件不同，收益电话会议没有内置标签、非结构化且采用对话语言。我们通过评估根据 SEC 文件和上下文学习方法训练的模型捕获的信息来探索这个具有挑战性的领域。为了建立基线，我们首先评估 SEC 训练模型在已建立的 SEC 数据集上的泛化能力。为了支持我们的调查，我们引入了三个新颖的基准：(1) SEC 文件基准 (SECB)、(2) 收益电话基准 (ECB) 和 ECB-A，这是一个包含 2,460 个专家注释组的子集，用于支持我们的定性分析。我们发现基于编码器的模型很难应对域转移。最后，我们提出了一个系统，利用 LLM 从非结构化通话记录中执行开放式提取，并通过人工评估进行验证（79.7% 精度），通过对紧急 KPI 的一致跟踪为这个有价值的领域提供基线。