论文
FinLifeBench:从纵向银行对话中完整重建人生事件历史与财务状态
FinLifeBench: Exhaustive Life-Event History and Financial-State Reconstruction from Longitudinal Banking Dialogue
摘要
由于日常要求中偶然出现生活变化,重复的银行交互要求助理维护完整、最新且可追踪的客户记录。现有的基准强调问题回答、有界情节或有针对性的回忆,而不是详尽的纵向重建。我们引入了 FinLifeBench,它通过相同的累积对话评估两个任务:通过其第一个建立会话重建每个生活事件实例,并在连续检查点重建完整的 34 路径财务状态。该基准包含来自 20 个独立合成轨迹的 6,000 个八轮韩国银行业务会话,具有 24 种事件类型和 34 条状态路径的确定性、详尽的标准以及共识质量保证。在全情境条件下的 11 个LLM中,事件锚点召回率从第 15 个会话时的 0.591 下降到第 300 个会话时的 0.445。错误主要是由遗漏的事件而不是不良的锚点定位引起的,而财务状态重建经常将被取代或可能过时的信息视为当前信息;最好的GCA@15达到0.470。两个重建任务的表现只有弱相关性。这些结果表明,模型可以定位已恢复事件的证据,但仍无法维护完整且暂时有效的纵向记录。
