this-that-model-1.0：类型化决策模型，可在 30 毫秒内做出决定，成本为百万分之一美分

软件每年都会将更多的分支委托给模型：票据进入哪个队列、命令是否可以安全运行、索赔是否在无人参与的情况下得到清除。程序需要返回的不是散文。它是 n 个声明的选项之一，也是它可以阈值的数字。如今，对于通常由三个子句组成的问题，需要往返前沿模型（数百毫秒、每个词元的账单和解析器）。 this-that-model-1.0 是一个 2B 参数类型的决策模型。它的答案是直接从指定位置的隐藏状态读取的，并且仅限于调用者声明的选项集，因此不会生成任何文本，不会出现任何格式错误，并且请求中的每个问题都会在同一个前向传递中得到回答。它在一台笔记本电脑 GPU 上的决策时间为 30.9 毫秒，并生成零输出词元，其中前沿 API 调用需要 8758 毫秒，而回答这些问题的托管系统将在每个问题首先思考时花费 21 到 212 个生成的词元，并按每个问题计费。它在一个消费级 GPU 上每秒支持 32 个决策，并且永远不会让状态离开机器。在第三方记录的 68 个决策问题中，根据他们的输入和措辞，它的得分为 0.941，Brier 得分为 0.042，而托管服务 Jev 在相同项目上的得分为 0.765 和 0.133。我们的42户内部套房一通需要32秒和0.000217美元的电费；我们测量的最准确的托管模型需要 155.2 分钟和 10.636 美元。我们还报告它在哪里丢失。在多步算术中，单次前向传递无法传递中间结果，它的得分为 0.560，而其得分为 0.98 到 1.00，并且有针对性的第二轮训练改进了它所针对的 5 个任务系列，并且没有转移到其他 13 个任务系列中。该模型在此 https URL 中开源