前段时间评审一个机器人操作策略的对比实验对方给我看了一张表策略A成功率90%策略B成功率92%结论是B更好。我问了一句各测了多少次方差多少跑过显著性检验吗对方愣了一下各测了50次方差没算就……平均了一下。这个场景我遇到太多次了不夸张地说90%与92%这种“两个百分点的优势”在绝大多数情况下都不足以证明一个机器人策略比另一个更好。这不是抬杠而是评估方法论本身的问题。今天写这篇文章就是想把这些年踩过的坑、总结出的经验一次性说清楚平均成功率是怎么骗人的两个百分点背后藏着多少不确定性以及做机器人策略对比时到底应该怎么评估才算靠谱。不管你是做强化学习、模仿学习还是做运动规划与控制策略只要你需要在不同方案之间做选择这篇文章都值得读完。1. 平均成功率只是冰山一角90分和92分的背后站着方差1.1 两个百分点在测试样本里可能只是“1次成功”先把最简单的数学账算明白。假设你在同一组条件下测了50次策略A成功45次成功率90%策略B成功46次成功率92%。听起来是2个百分点的差距但拆到原始数据里差距不过是一次成功而已。这一“次”的差异来自哪里可能是初始关节角度差了几度可能是推力噪声序列不同可能是感知模块的随机种子不一样甚至可能是CPU调度导致控制周期抖动了一下。这些都是机器人评估中常见的随机因素。你把它们归因于“策略本身更优”证据是完全不够的。更直观的类比是射箭一个人射10箭中了9箭另一个人射10箭中了9.2箭——这个说法本身就很荒诞因为箭数必须是整数。换算到机器人评估里90%和92%的对比如果建立在几十次测试上本质上就是在用小数位上的运气做决策。我还见过不少团队用“100次测试”做对比但细问之下这100次里包含了大量重复场景同一个初始位置跑了20遍目标物体位置只有3种变化。表面上样本量是100实际上有效独立场景可能不到10个。这时候别说2个百分点就算差5个百分点我也只会打个问号。1.2 方差不报均值就没有意义统计学的第一课就是一组数据要用均值和方差一起来描述。只报均值不报方差等于只说了故事的一半。举个例子策略A的成功率90%但它在简单场景几乎100%在困难场景直接掉到40%来回震荡特别大。策略B成功率92%但它从简单到困难场景都稳定在88%~95%之间。这时候如果你只盯着均值会觉得B比A好2个百分点但如果你看完整分布B在困难场景的表现明显更稳A在困难场景几乎是崩的。这两个策略的“均值差2个点”完全没有反映出它们的本质差异。所以我在看任何策略对比报告时第一件事就是问标准差多少置信区间是多少如果对方回答不上来那这个对比结果在我这里基本无效。成功率这类二值指标成功1失败0的方差也是有公式的如果真实成功率是p测试次数是n那么标准误差大约是sqrt(p(1-p)/n)。代入p0.9、n50标准误差大约是4.24%。换句话说90%这个估计本身就带着正负4个百分点以上的不确定性。92%和90%之间的差值2%远小于这个不确定性范围统计学上根本站不住脚。1.3 置信区间才是评估的及格线既然均值不可靠那什么可靠答案是用置信区间来描述估值的不确定性。还是拿p0.9、n50来算用最简单的正态近似95%置信区间大约是81.7%~98.3%。这个区间宽得吓人。即便把样本量拉到200次成功率90%的95%置信区间也在85.8%~94.2%。两个策略如果分别是90%和92%它们的置信区间会有很大的重叠这时候你能说谁比谁好吗稳妥的回答是不能。我在实际项目里更推荐用Wilson区间而不是正态近似因为成功率接近0或1时正态近似的偏差会变大而Wilson区间在样本量小的时候表现更好。计算也不复杂很多统计库都内置了自己在Excel里拉公式也能算。如果两个策略的置信区间基本不重叠这时候说“A比B好”才算有点底气如果区间严重重叠哪怕均值差了两三个点我也只会说“没有观察到显著差异”而不是“A不如B”。2. 从“看着高”到“确实高”统计检验实操指南2.1 先搞清楚对比设计配对还是不配对统计检验不是拿过来就跑第一步是先想清楚你的实验设计是对应的。机器人策略评估通常有两种设计方式第一种是独立设计。策略A在50个初始条件下测试策略B在另外50个初始条件下测试两组初始条件不完全相同。这种情况相当于两个独立样本要检验均值差异是否显著用独立样本t检验或者非参数的Mann-Whitney U检验。第二种是配对设计。策略A和策略B在完全相同的50个初始条件下各测一次测试顺序可以打乱但每个初始条件都被两个策略都跑过。这种情况数据是配对的要优先用配对t检验或Wilcoxon符号秩检验。为什么配对更好因为机器人测试的初始条件之间存在巨大的异质性有的场景天生容易有的场景天生难。如果两个策略在同一批场景上测试场景难度差异就可以被“配对”抵消掉统计功效大幅提升。打个比方你想比较两个学生的水平最公平的方式是让他们考同一张卷子而不是给A考简单卷、给B考难卷然后比较分数高低。我自己的习惯是只要条件允许一律做配对设计并且把测试清单固定下来两个策略跑完全相同的场景序列。这样后续无论是做检验还是做可视化都干净得多。2.2 三种常用检验方法以及怎么上手实际项目里我常用的检验方法就三种按适用场景选配对t检验。前提是差值近似正态分布。做法很简单对每个测试场景计算A的成功/失败1/0减去B的成功/失败1/0得到一组差值然后对这组差值做单样本t检验看均值是否显著不为0。在Python里就是scipy.stats.ttest_rel一行代码的事情。它的缺点是要求差值服从正态分布当样本量小且差值严重偏态时结果可能失真。Wilcoxon符号秩检验。配对t检验的非参数版本不要求正态性。对每个场景的差值取绝对值后排序再根据正负号做秩和检验。scipy.stats.wilcoxon可以直接跑。它适合样本量不大、分布不清楚的情况也是我默认首选的检验方法。需要注意的是当差值出现大量0比如多数场景两个策略都成功Wilcoxon的检验功效会下降这时要结合描述统计一起看。Bootstrap置信区间。这个方法非常直观从观测数据中有放回地重采样几千次每次计算两个策略的成功率差值最后取这些差值的2.5%和97.5%分位数作为95%置信区间。如果区间不包含0说明差异显著如果区间包含0说明差异不明显。Bootstrap的好处是不依赖任何分布假设特别适合机器人实验这种“数据不干净、分布不清楚”的场景。我自己写代码时会一步到位先算配对差值再同时输出t检验、Wilcoxon和Bootstrap区间三个结果。三个方法结论一致的场景才敢下判断要是有分歧就说明数据本身太弱需要补充实验。2.3 样本量怎么定功效分析给你兜底另一件常被忽略的事是实验前算好样本量。很多人是测完50次才开始纠结“够不够”但正确做法是反过来先想清楚你期望检出多大的差异再反推需要多少样本。这里涉及功效分析power analysis的核心逻辑。设定显著性水平alpha0.05犯第一类错误的概率功效power0.8也就是有80%的把握检出真实差异如果你期望检出的成功率差异是10个百分点那么每个策略大概需要几十次测试如果你期望检出的差异只有2个百分点那需要的样本量会飙升到数百甚至上千次。这也是“两个百分点通常不足以证明更好”的数学根源之一想要稳定检出2个百分点这么小的效应量你需要一个非常庞大的测试集。大多数机器人实验室根本没有这个资源去跑上千次实物实验。所以结论很朴素小样本下你最多能检出的是“较大的差异”而不是“微小的差异”。实操起来可以用Python的statsmodels.stats.power做简单估算也可以直接查功效表。哪怕你只是粗略估算一下数量级也比“拍到脑袋定50次”强得多。3. 评估协议与测试集设计这才是真正的分水岭3.1 测试集要能代表你的目标场景统计检验解决的是“差异是否可信”的问题但前提是你的测试数据本身有代表性。很多策略对比实验在测试集设计上就偏了后面的统计做得再花哨也没用。什么叫代表性假设你的机器人抓取策略最终要部署在仓库里货架高度、物体种类、光照条件都是变化的那么你的测试集必须覆盖这些变化。如果你只在固定的桌面高度、固定物体、固定光照下测200次这200次本质上是在测同一个场景的重复表现它不能代表真实部署环境。我的建议是把测试集设计成“分层抽样”的思路先列出你认为会影响策略性能的因素维度比如物体形状、抓取高度、光照强度、遮挡程度然后每个维度设置若干档位按一定比例组合成测试清单。清单一旦定下来就要像考试题库一样相对固定既用于预训练评估也用于最终对比。这里要特别提醒测试集的难度分布会直接影响成功率的绝对值。一个全简单场景的92%和一个偏难场景的88%哪个策略更实用答案是后者。所以在报告结果时一定要把测试集的组成说清楚——多少人会觉得90%和92%的差异重要但对训练机器人来说在20%的困难场景里谁能兜住底线可能比整体高两个百分点重要得多。3.2 随机种子、初始条件与可复现性机器人实验和别的机器学习实验不太一样没有统一的RNG种子就能完全复现因为还有物理引擎参数、控制器频率、传感器噪声等一堆变量。但至少以下几点是应该做到的第一固定测试清单。把每个测试场景的初始状态、目标位置、环境配置记录成文件任何策略评测都从这个固定清单读取场景。这样不同策略之间的可比性就保证了。第二控制随机种子。如果用到随机采样、噪声生成必须固定种子。不然策略A今天测是92%明天换了个随机序列变成86%你根本分不清是策略变化还是随机变化。第三记录环境版本。物理引擎版本、机器人URDF模型、控制器频率、仿真步长这些都要固化下来。换一个环境版本整套对比可能就得重做。我就遇到过仿真引擎小版本升级后同样策略的成功率集体掉了5个百分点的情况。这三条做到了你的实验结果才算有了“可复现”的根基别人也才敢基于你的数据做进一步的决策。3.3 除了成功率还应该看什么成功率作为核心指标没问题但不能是唯一指标。一个策略如果为了把成功率从90%推到92%代价是平均任务时间长了50%、机器人关节力矩超限次数翻倍、人机交互时需要频繁干预那这个“2个百分点”就是彻头彻尾的亏本买卖。我在实际评估里至少会同步记录四类指标任务成功率主指标。完成质量比如抓取后的物体姿态偏差、轨迹平滑度、到达精度。资源与安全指标平均任务时间、峰值关节力矩、碰撞次数、人机干预频率。鲁棒性指标不同难度子集上的成功率差异方差大小最差子集的表现。这四类指标放在一起才能完整回答“这个策略值不值得换”。只盯着一个成功率数字很容易被“末位优化”带偏——为了零点几个百分点的均值提升牺牲了真正重要的安全与稳定性。我还习惯把结果按场景难度分层分别统计成功率。策略A简单场景99%、中等场景91%、困难场景70%策略B简单场景93%、中等场景91%、困难场景85%。平均值算下来也许只差1~2个百分点但困难场景的表现差异才是部署时真正需要关注的。这种分层报告比单个平均值有说服力得多。4. 常见问题与排查技巧实录4.1 高频问题速查表这些年我反复跟人解释、也反复自己踩的问题整理成了下面这个速查表问题典型表现解决思路置信区间太宽成功率90%区间跨度超过15个百分点增加测试次数优先增加场景多样性而非重复次数两个区间严重重叠90%与92%的置信区间大面积重合先做配对检验若仍不显著如实报告“未观察到显著差异”标准差大于均值差均值差2%标准差却有10%补充分层统计找出方差来源考虑场景难度分层报告测试次数拍脑袋各测30次就说谁更好实验前做功效分析按可检出的最小差异反推样本量场景代表性不足固定桌面、固定物体、固定光照按难度/环境维度分层抽样建立固定测试清单只看均值不看方差报告里只有一张成功率数字表强制要求附上标准差、置信区间、检验结果复现性差换个随机种子结果崩掉固定测试清单、固定随机种子、记录环境版本仿真92%但实物不行实物结果远低于仿真增加仿真随机化尽早做实物小规模验证这张表基本覆盖了我被问到最多的几个问题。如果你发现自己的对比报告踩了其中任意一条我建议先停下来补齐再下结论。4.2 一套可以直接抄走的评估流程最后把我自己现在做策略对比评估时固定走的流程写出来你可以直接拿去当模板第一步花半天时间设计测试集。明确难度维度、场景数量、每个场景的初始状态生成一份固定的测试清单文件。第二步实验前用功效分析估算样本量。根据历史数据或预实验估计成功率波动范围算出在当前资源下能够稳定检出的最小差异。第三步预注册评估协议。把测试清单、评估指标、统计方法写成一页纸的协议文档提交给团队成员或者自己存档。这一步是为了避免“测完再改标准”的坏习惯。第四步跑基线策略和候选策略。每个策略在完全相同的测试清单上执行记录成功率、完成质量、耗时、安全指标和分层结果。第五步计算描述统计均值、标准差、置信区间按难度分层报告成功率。第六步做配对检验Wilcoxon符号秩检验、配对t检验、Bootstrap置信区间三个方法交叉验证。第七步综合研判。只有同时满足“效应量足够大”“检验显著”“分层表现一致”三条时才允许自己说“A策略确实比B策略好”。任何一条不满足都只能报告“差异不明显需要更多实验”。这套流程看起来繁琐但一旦跑顺了后续做决策会非常省心。因为你不必再反复争论“90%和92%到底谁强”数据自己会说话。4.3 最后分享一个经验我把这条放在压轴位置是因为它确实是我花了很长时间才想明白的评估的成本再高也高不过选错策略的代价。机器人项目里换错策略意味着重新调参、重新部署、推迟上线时间这些隐性成本动辄就是几个星期的工时。相比之下多花一两天把评估设计做扎实实在是太划算了。还有一个小技巧是别只保留最终结果测试的原始日志和场景清单都要归档。很多项目过了两个月要回答“当时为什么选策略B”时原始数据能帮你省掉大量翻旧账的精力。而且真要发论文或者写技术报告时这些记录也是评审人最看重的部分。机器人策略好不好“实测见真章”这句话本身没错但前提是“实测”的设计要经得起推敲。90%和92%之间差的那两个百分点到底是有意义的进步还是随机噪声这套方法论会给你答案。