论文
从企业客户支持工作流程中的副驾驶反馈中学习选择性 LLM 自主
Learning Selective LLM Autonomy from Copilot Feedback in Enterprise Customer Support Workflows
摘要
我们提出了一个已部署的系统,可在企业业务流程管理 (BPM) 平台内自动执行端到端客户支持工作流程。该方法在生产中具有可扩展性,并在两周内实现新流程的选择性自动化,利用已经大规模生成的监督:结构化的每个案例 UI 交互跟踪和低开销的副驾驶反馈,操作员可以接受建议或提供纠正。分阶段部署管道训练下一个 UI 操作策略,从副驾驶反馈中了解批评者以校准弃权,并在后台仅执行高置信度步骤,同时将不确定的决策推迟给操作员并从更新的 UI 状态恢复。这种设置允许一名操作员监督多个并发会话,并且仅在系统不确定时才被中断。该系统在 BPM 界面的模式驱动视图上运行,包括生产监控和安全回退。在生产中,它实现了 45% 的会话自动化,并将平均处理时间减少了 39%,而没有降低支持质量水平。