论文

经由 LoRA 专家混合从评论生成可执行建议:面向问题抽取与商业推荐的双 LLM 流水线

Actionable Advice from Reviews via Mixture of LoRA Experts: A Two-LLM Pipeline for Issue Extraction and Business Recommendations

模型训练参数高效训练

摘要

客户评论包含关于服务失效与用户期望的详细、领域特定信号,但把这种非结构化反馈转化为可执行的商业决策仍然困难。我们研究评论到行动的生成:产出以评论文本为依据的具体、可落地的建议。我们提出一个模块化双 LLM 框架,其中一个问题模型抽取显著问题并赋予粗粒度主题,一个建议模型以抽取的问题表示为条件生成有针对性的运营修复措施。为在不进行昂贵全量微调的情况下实现专门化,我们用 LoRA 专家混合策略适配建议模型:训练多个低秩适配器,由轻量门控机制在推理时进行 token 级专家混合,融合跨问题类型的互补专长。我们从 Yelp 评论(航空与餐饮)构建合成的评论-问题-建议三元组以监督训练,并用覆盖可执行性、具体性、可行性、预期影响、新颖性、非冗余性、偏见与清晰度八个维度的运营细则评估建议。在两个领域中,我们的方法持续优于仅提示与单适配器基线,取得更高的可执行性与具体性,同时保持良好的效率-质量权衡。

经由 LoRA 专家混合从评论生成可执行建议:面向问题抽取与商业推荐的双 LLM 流水线
图1:所提出的多阶段 LLM 流程总览。用户评论由 Issue LLM 处理以抽取具体问题及其对应主题,随后传递给 Advice LLM,生成有针对性、可操作的修复建议。