沙丘社区
论文

LLM-XTM：使用 大语言模型 增强跨语言主题模型

LLM-XTM: Enhancing Cross-Lingual Topic Models with Large Language Models

Minh Chu Xuan; Tien-Phat Nguyen; Linh Ngo Van; Dinh Viet Sang; Nguyen Thi Ngoc Diep; Trung Le
应用与实践通用理解与问答

摘要

跨语言主题建模旨在发现跨语言的共享语义结构，但现有模型依赖于稀疏的双语资源，并且经常产生不连贯或弱对齐的主题。最近基于 LLM 的改进提高了可解释性，但成本高昂，是文档级别的，并且容易产生幻觉，而之前的白盒方法需要无法访问的词元概率。我们提出了 LLM-XTM，这是一个将 LLM 引导的主题细化与自洽不确定性量化相结合的框架，能够实现黑盒、稳定且可扩展的跨语言主题模型增强。多语言语料库实验表明，LLM-XTM 实现了卓越的主题连贯性和对齐性，同时减少了对双语词典和昂贵的 LLM 调用的依赖。