论文
面向交通工程实践的定制生成式AI智能体:开发与继续预训练指南
Customized Generative AI Agent for Transportation Engineering Practice: A Development and Continued Pre-training Guideline
摘要
生成式人工智能(AI)与大语言模型(LLM)的最新进展在自动化复杂推理、总结与问答任务上展现显著前景。但通用LLM在专门工程域的有效性仍受限——因对技术标准、工程术语与领域特定语义的暴露不足。本研究提出为交通工程应用开发定制生成式AI智能体的系统方法。策展的美国交通手册、设计指南与法规文件语料被用于经统一低秩适配(LoRA)框架对六个SOTA LLM开展继续预训练。训练过程被监控以确保收敛与模型稳定。性能以标准NLP指标(BLEU-4与ROUGE)评估——Qwen2.5-7B与LLaMA-3.1-8B展现最高领域对齐与响应质量。结果验证基于LoRA的适配在改进LLM技术内容解释与情境特定推理上的有效性。本工作为构建领域专门生成式AI智能体贡献可复现开发框架——支持在交通研究、设计、规划与政策分析中的更广泛部署。
