论文

使用句法和语义上下文评估摘要 (SSAS) 进行情感预测的一致性分析

Consistency Analysis of Sentiment Predictions using Syntactic & Semantic Context Assessment Summarization (SSAS)

上下文与知识上下文工程

摘要

使用 大语言模型 (LLM) 进行可靠的企业级分析(例如情绪预测)的根本挑战是 LLM 固有的随机性(生成性、非确定性性质)与一致性分析要求之间的冲突。 LLM 的不一致,加上混乱的现代数据集的嘈杂本质,使得情绪预测对于战略业务决策来说过于不稳定。为了解决这个问题,我们提出了一个用于建立上下文的句法和语义上下文评估总结(SSAS)框架。 SSAS 建立的上下文充当复杂的数据预处理框架,在 LLM 上强制执行有限注意机制。它通过应用分层分类结构(主题、故事、集群)和基于迭代摘要(SoS)的上下文计算架构来实现这一点。这赋予原始文本高信号、情感密集的提示,从而有效地减少不相关的数据和分析方差。我们使用 Gemini 2.0 Flash Lite 对照直接 LLM 方法,在三个行业标准数据集(Amazon Product Reviews、Google Business Reviews、Goodreads Book Reviews)和多个稳健性场景中,根据经验评估了 SSAS 的功效。我们的结果表明,我们的 SSAS 框架能够通过噪声消除和情感预测估计改进的结合,显着提高数据质量,最高可达 30%。最终,我们上下文估计能力的一致性为决策提供了稳定可靠的证据基础。