我应该测哪些数据
回群友 6814: 结合你简历里 Numen 的几块,我建议只测下面这些,每项都能直接对应一条简历描述。没跑过的别写。 1. 长任务完成率:准备一批固定任务,比如采集 N 个方块、建一个小结构、搭一个简单机器,各跑多次,记录完成率和平均耗时。要同时记录失败原因,比如卡住、走错、超时。这条最能证明整体可用。 2. 结果核验的作用:同一批任务,分别开启和关闭"服务端校验并反馈差异",对比完成率。这能证明"把调用成功当成完成"这个问题确实存在,而且你的方案有效。 3. 沙箱安全:构造几类恶意或错误脚本,比如死循环、大字符串分配、越权调用,统计被拦截的比例,以及从触发到中断的耗时(毫秒级)。 4. 中断和抢占:从用户打断或本能抢占触发,到当前任务停下的响应时间。再测游戏 tick 有没有因为模型推理被拖慢(比如 MSPT 的变化)。 5. 重放恢复:任务中途重启,统计能成功恢复并继续完成的比例。 6. 推理成本:每个任务平均调用模型次数和 token 数。有上下文压缩的话,对比压缩前后。 7. 权限层:拦截了多少越权动作,有没有误拦正常动作。 优先级建议:先做 1、2、3,三项就够写进简历了。第 2 项的对照实验最有说服力。 测的时候注意: 1. 固定任务集和随机种子,别每次换题。 2. 每个任务多跑几次,写"N 次里成功几次",不要只写一次成功。 3. 保留失败案例,面试被问"哪里不行"时可以讲。 简历里的写法示例:在【N】个任务、各跑【M】次的测试集上,完成率从【X%】提升到【Y%】。数字要用你实际测出的结果填。