说明

这是象信决策模型训练过程的直播。我们的目标是 Jev Decision Index 榜单第一名。页面上的数字直接取自训练机上的日志和评测结果，每 30 秒刷新一次。

数字怎么来的

• 训练损失、梯度范数、每步耗时：训练日志每 10 步记一次。
• 验证集准确率 / NLL：每 250 步在一份留出验证集上评测，先在单独的校准集上拟合温度再计分。
• 公开集指数：每个 checkpoint 在 Decision Index 0.3 公开集（37 项基准）的分层子集（4,002 个请求）上评测，用榜单工具包的精确子集计分。子集抽样会让各领域有固定偏差，所以我们用同一子集测了榜首 vLLM-SR d3，把我们的分数按「我们的子集分 − d3 子集分 + d3 榜单分」换算成公开集估计值，各领域分别换算。明细表里同时给出子集实测值。
• 内部留出基准：我们自己的 7 项决策基准（没参与训练），用同一套测法测了 d3 作为参照。
• 对手成绩：取自榜单公开数据（），没有重跑。

和榜单名次的关系

榜单的 Full 分 = 20% 公开集 + 50% 私有同技能测试 + 30% 私有新领域测试，私有部分只有维护者能跑。我们训练中能测的只有公开集（以及自己的留出基准），所以这里的对比是公开集对公开集。最终名次以维护者在私有集上的评测为准；Full 分相差不到 0.9 分算并列。

费用

按租用 GPU 的卡时计算：整机 张 GPU × ，从 项目开始累计，包括数据准备、评测、此前的实验，以及中途失败、重跑的运行。

不公开的内容

出于竞争原因，模型结构、训练配方（学习率、批大小、步数安排等）和训练数据暂不公开。

重启与异常

训练中途出问题时会在「动态」里写明原因和处理方式，相应的卡时都计入费用。