论文

OTel:开放电信数据、基准与模型

OTel: Open Telco AI Datasets, Benchmarks, and Models

模型评测基准与评测资源

摘要

我们推出了 Open Telco (OTel),这是一种开放电信 AI 资源,可发布用于检索、重新排序、指令调整和安全/弃权的衍生电信数据集,以及 30 个完整的参数后训练基线,涵盖 10 个嵌入模型、3 个重新排序器和 17 个语言模型。社区已经对该资源进行了大量的参与:截至 2026 年 5 月 3 日,已发布的模型下载量已超过 1600 万次,该项目已在全球范围内收到超过 157 条媒体报道。 OTel 以先前的开放电信数据集和基准为基础,在一个统一资源中提供记录的电信数据源、保留测试 评估分区、经过训练的嵌入模型、重新排序器、基于上下文的 LLM 以及安全/弃权数据。每个基线均从 开放权重 模型开始,并使用开放的训练配方对 OTel 派生数据进行后训练,然后在 保留测试 OTel 评估分区上进行评估。 OTel 后训练提高了所有三个模型系列的性能:嵌入检索达到 93.1% NDCG@10,重新排序达到 0.947 MRR@10,语言模型正确性达到 87.8%。我们发布 OTel 作为可复制的起点,并邀请社区扩展数据,改进嵌入和重新排名模型,并构建更强大的基于上下文的电信 LLM。

OTel:开放电信数据、基准与模型:论文原图
图 1:OTel 微调提高了语言模型的正确性和嵌入检索质量;较大的 LLM 通常会提高正确性上包络线。