论文

BAIBAICHUCHU 的 NTCIR-19 FinArg-3 研究:投资者文本何时能预测最大可能利润?

BAIBAICHUCHU at the NTCIR-19 FinArg-3 Task: When Is Maximum Possible Profit Predictable from Investor Text?

模型评测评测方法与指标

摘要

BAIBAICHUCHU团队参与了NTCIR-19 FinArg-3的社交媒体子任务,按照最大可能利润(MPP)对中国投资者帖子进行排名。词汇特征的三轨集成、FinArg-2 预微调的 MacBERT 排名器和 LLM 法官在分组后开发评估中达到 0.734,但我们的最佳官方运行分数为 0.517。所有 12 个提交的运行分数都在 0.4598 和 0.5402 之间,我们的 26 个一致的三轨对得分为 0.500。事后审计发现,尽管 MPP 具有立场意识,但所提交的法官对看跌职位应用了仅限多头的规则。纠正它会改变 87 个官方预测中的 28 个,而不会改变准确性,但将开发准确性从 0.680 降低到 0.622:特定于制度的语义快捷方式改进了验证拟合。我们将排名分解为方向文本、波动性和范围以及成对保证金。运行极值模型预测 $σ\sqrt{T}$ 缩放,这是在 2026 年 7 月单独收集的 502 个价格一致的帖子中事后观察到的。按特定后观察范围 $σ_{\mathrm{pre},20}\sqrt{N_i}$ 缩放的预发布波动性与后来的截断范围 MPP 代理(Spearman $ρ=0.320$;股票集群 95% CI [0.133,0.466])相关联,并正确排序了 61.4% 的不平等结果对。传输的文本与 7 月结果 ($ρ=0.055$) 几乎不相关,并且对该分数和立场几乎没有添加任何条件。随着标记的 MPP 差距扩大,开发可靠性从约 0.60 上升至 0.93。早期的 ERAI 结果 0.6207 排除了普遍的不可预测性作为一个简单的解释。评估应共同考虑文本、市场机制、历史波动性、期限和货币对构成。