论文
EmotionAI:用于基于语音情感的对话分析的隐私保护计算智能管道
EmotionAI: A Privacy-Preserving Computational Intelligence Pipeline for Speech-Emotion-Grounded Conversational Analysis
摘要
审查录制的采访以寻找情感线索(例如镇定和激动)是缓慢且主观的,并且可以自动执行任务的云服务需要敏感的音频离开设备。 EmotionAI 是一个完全本地化的计算智能 (CI) 管道,它将语音情感识别 (SER) 与生成推理结合起来。说话人分类、Whisper 自动语音识别 (ASR) 和 wav2vec2 情感分类器可生成每个片段的情感证据,而对抗性三模型本地 大语言模型 (LLM) 面板将这些证据转化为基于时间戳、引用受限的答案。对 RAVDESS 四类英语子集 (n = 672) 的零样本评估衡量了跨语料库迁移的成本:部署的分类器准确率达到 48.8%,高于随机 (24.9%) 和多数 (28.6%) 基线,但低于域内 MFCC + 逻辑回归比较器 (71.0%)。完整的管道在 CPU 上的平均运行时间为 157 秒(实时因子约为 1.33),外部调用为零。我们的贡献不是最先进的 SER,而是将不完善的情感证据与扎根的对话分析进行可审计、保护隐私的整合。