论文
D-TAIA:用于多任务预测过程监控的域感知 LLM 适应
D-TAIA: Domain-Aware LLM Adaptation for Multi-Task Predictive Process Monitoring
摘要
预测流程监控 (PPM) 使组织能够预测未来的流程行为,例如下一个活动和正在进行的案例的剩余时间。在实践中,三个条件导致现有方法退化,即数据稀缺、高过程熵和分布偏移。虽然基础模型 (FM),尤其是 大语言模型 (LLM),通过广泛的顺序推理提供了新的范例,但在这些条件下使它们适应多任务 PPM 仍然是一个开放的挑战。现有的基于 FM 的方法要么缺乏处理分布变化的机制,要么依赖直接回归头,而直接回归头可能在结构上与连续时间预测任务不一致。本文介绍了 D-TAIA(领域感知训练和基于注意力的推理架构),这是一个通过 FM 主干的参数高效 微调 联合下一个活动和剩余时间预测任务的框架。我们的方法将域感知三元组损失(DATL)预训练 与基于 FAISS 的最近邻检索相结合以进行剩余时间预测,并采用 TAIA 推理策略来在 微调 期间保留预先训练的顺序推理。通过四个真实事件日志的评估,与微调的 LLM 和循环神经网络基线相比,D-TAIA 始终显示出 SOTA 或竞争性能。消融研究证实,尽管组件贡献因数据集熵而异,但只需 10M 参数主干即可将 NLP 和计算机视觉技术有效地转移到 PPM。