论文

FirmCORe:企业间合作机会的结构化推理基准

FirmCORe: A Benchmark for Structured Reasoning about Inter-Firm Collaboration Opportunities

模型评测基准与评测资源

摘要

企业间关系的全面结构化数据往往稀缺或不可得,因为许多关系私下谈判、选择性披露,并分散于专有数据库。这阻碍合作机会发现,尤其影响初创与中小企业。企业简介易得,但合作潜力不能只从业务相似推断:相似企业可能是竞争者,不相似企业则可能在产品、技术、渠道、能力或资本上互补。我们提出人工标注基准FirmCORe,包含2805组有标签企业配对,用于弱结构化企业简介上的成对推理。给定两份简介,模型须判断证据是否支持合作机会;对正例同时预测强度、主要合作类型与角色方向。FirmCORe还提供实例及金标准完全相同的中英文平行评估集,支持受控分析输入语言敏感性。对代表性本地和托管大模型的实验显示,最强模型机会检测宏F1为74.51,但四个字段完全匹配率仅61.57%。语言效应随模型变化,高跨语言一致性可能掩盖两种语言共有的错误。结果表明,当前模型发现宽泛合作机会明显比识别具体类型与角色方向可靠。

FirmCORe:企业间合作机会的结构化推理基准:论文配图
图1:FirmCORe总览。由统一企业画像出发,经分层候选挖掘、质量筛选、盲法人工标注与元组级裁决构建基准;模型再按统一协议,对平行中英文企业画像对执行零样本结构化预测。