论文
GuidaPA：经联邦学习的公共行政隐私保护聊天机器人
GuidaPA: Privacy-Preserving Chatbot for Public Administration via Federated Learning
摘要
我们推出了 GuidaPA，这是一款面向意大利公共管理 (PA) 的隐私保护聊天机器人，通过联邦学习 (FL) 根据两个国家 PA 平台 SIGESON 和 SIDFORS 的文档进行训练。我们的语料库包括大约 8 页的 SIGESON 手册和 31 页的 SIDFORS 手册/常见问题解答；虽然本研究使用公共文档作为安全代理，但预期的部署扩展到受限的内部来源（例如票证、官员手册、数据库摘录），由于监管和组织的限制，这些来源无法集中汇总。 GuidaPA 集成了基于角色的访问控制、安全的客户端预处理、非独立同分布效应的显式监控以及大型语言模型的参数高效联合微调。使用 QLoRA（4 位）超过 15 轮联合，每个客户端的训练测试比例为 80/20，我们使用 ROUGE、BLEU-4 和 METEOR 评估答案质量。最好的联邦模型实现了 61.10/55.77/59.44 的 ROUGE-1/2/L、45.02 的 BLEU-4 和 63.94 的 METEOR——接近私有集中式微调，同时保留数据在现场。与通用基线相比，域微调将 ROUGE-1 从 41.45 提高到 62.18，将 BLEU-4 从 26.97 提高到 50.90。总体而言，结果表明 FL 可以为公共服务提供高质量的对话式 AI，而无需集中式数据共享
