下一个活动预测中的 David vs. Goliath：Argmax vs. LSTM、Transformer 和 LLM

下一步活动预测 (NAP) 是预测流程监控 (PPM) 的基石，使组织能够从回顾性分析转向主动流程指导。 PPM 领域已经从经典机器学习通过 LSTM 和 Transformer 等深度学习架构发展到 大语言模型 (LLM)。尽管模型复杂性不断增加，但没有基准在 NAP 的直接序列建模设置中联合比较 LLM、Transformer、LSTM 和简单基线。在本文中，我们通过系统基准来填补这一空白。我们将词汇适应的 LLM、从头开始训练的 Transformer、LLM 蒸馏的 Transformer 和 LSTM 与七个现实事件日志中基于简单计数的 argmax 基线进行比较。我们的结果讲述了大卫与歌利亚的故事：与从头开始的训练相比，预训练并没有带来一致的改进，模型大小对性能几乎没有影响，并且在大多数数据集上，argmax 基线匹配或接近十亿参数 LLM 的性能。