SenseAI：用于 RLHF 一致金融情绪推理的人机循环数据集

我们推出了 SenseAI，这是一个经过人机交互 (HITL) 验证的金融情绪数据集，旨在不仅捕获模型输出，还捕获其背后的完整推理过程。与现有资源不同，SenseAI 融合了推理链、置信度评分、人类校正信号和现实世界的市场结果，提供了与人类反馈强化学习 (RLHF) 范式一致的结构。该数据集由 40 个美国上市股票和 13 个金融数据类别的 1,439 个标记数据点组成，可直接集成到现代 LLM 微调 管道中。通过分析，我们确定了模型行为中的几种系统模式，包括一种我们称之为“潜在推理漂移”的新型故障模式，其中模型引入了不基于输入的信息，以及一致的置信度错误校准和前向预测倾向。这些发现表明，财务推理中的 LLM 错误不是随机的，而是在可预测和可纠正的范围内发生，支持使用结构化 HITL 数据进行有针对性的模型改进。我们讨论了对金融人工智能系统的影响，并重点介绍了在模型评估和调整中应用 SenseAI 的机会。