论文
FactoryLLM：面向智能制造中LLM评估的安全开源AI游乐场
FactoryLLM: A Safe and Open-Source AI Playground for Evaluating LLMs in Smart Factories
摘要
智能工厂的故障诊断和恢复具有挑战性，因为关键信息分散在通过制造过程互连的多台机器的手册中。大型语言模型（LLM）可以提供一种有前途的方法。在本文中，我们提出了 FactoryLLM，这是一个安全的开源 AI 游乐场，旨在通过分析整个制造过程中多台机器的文档来评估不同的基于 LLM 的检索增强生成 (RAG) 模型。 FactoryLLM 使用户能够配置 LLM，并通过使用 RAGAS 和 NVIDIA 的 LLM 作为法官指标的双重评估设置来评估对多个文档进行推理时的性能。 FactoryLLM 是安全的，因为它允许用户运行本地或开源 LLM，而无需共享敏感的工业数据，从而为实验提供受控环境。我们通过一个案例研究展示了 FactoryLLM 的功效，该案例研究涉及自动驾驶智能汽车及其 Mobile Planner 软件，通过从大约 600 页的跨机器文档中得出的 30 个维护查询来评估三个 LLM。结果表明 FactoryLLM 在跨机器文档推理方面是有效的：每个模型的锚定性得分都超过 0.88。社区可以公开获取用于测试 FactoryLLM 及其制造特定场景的完整代码和文档。
