ufakzeka-karar：具有顺序不变选项评分的开放土耳其类型决策模型

ufakzeka-karar 是一个开放的土耳其决策模型，拥有 182,494,466 参数。给定土耳其语文本和固定答案类型的问题（选择、有序等级或是或否），它会返回每个选项的温度缩放概率以及充当“不确定”信号的预期错误，而不生成文本，并在一个 CPU 中前向传递最多 10 个选项。建立在实验室的 ufakzeka-1 基础上，它的头部在共享位置对每个选项进行评分，而其他选项则不可见，因此答案不依赖于选项顺序。使用打乱选项进行训练的顺序头大约具有同样的准确度，但当仅选项顺序发生变化时，其答案会发生 2.3% 至 2.8% 的变化； REINFORCE 由于交叉熵而损失了宏 F1 的 10.2 点 (0.102)。在 HakemBench v1.0 的开放集（4,275 个问题，7 个轨道）上，发布的模型在 16 行中排名第 7，综合得分为 0.660（95% 区间为 0.642 到 0.677）。温度缩放降低了开发集上的校准误差（平滑 ECE），但在留出支持问题上提高了误差，第一次评分运行从 0.027 到 0.045，从未对其进行过训练；发布的模型后来对它们进行了训练，因此它的 0.036 到 0.064 并不是一个看不见的问题测试。发布的模型是 HakemBench 上三轮跑分中的最后一个，其数字并不是盲目的。第二次运行的新训练数据针对第一次运行在完整测试集上的护栏、审核和客户支持方面的错误，并且在读取第二次运行在完整测试集上的护栏结果之后，根据在其任何数据、代码或运行之前以书面形式固定的协议对发布的运行进行训练。它的所有数字都在这些读数之后；它的护栏、审核和客户支持号码都带有“通过读取测试结果塑造”的旗帜。每个模型仅在其他四个轨道上得分，其综合得分为 0.678，在 16 项中排名第 6。权重和代码均在 Apache-2.0 下。