F36｜别被几个百分点骗了：随机性、样本与统计判断

从具体对象与小例子开始，理解计算过程与适用条件。

概率与一次观察不是同一个数

真实成功概率可以理解为在给定任务分布和执行条件下长期重复的性质；某次测了20题得18题，是样本估计。样本越少，结果越容易因碰巧选到题或采样差异而波动。

随机变量是结果随试验变化的量，例如一次任务成功记1、失败记0。期望是按概率加权的平均；方差描述围绕平均的波动。F14已用普通数字算过方差，这里把它用于随机结果。

为什么重复同一题也会不同

模型采样、服务环境、工具返回时间、检索数据变化和并发，都可能影响结果。固定随机种子只能控制某些随机来源，不能自动固定所有计算与环境。

所以比较A/B策略时，尽量让它们面对相同任务、版本与资源，记录多次尝试，而不是一次A今天跑、一次B下周跑后直接归因。

配对比较比只看两列总分更有信息

假设同20个任务，A成功15个，B成功17个。仅看总分是提高10个百分点。还要看：哪些A失败B成功，哪些A成功B失败，失败严重程度是否不同。

若B新增成功4题，同时退化2题，净增2题；这与只在两个明确修复任务上提升、其他完全不变的风险结构不同。配对差值以同一任务的两个结果比较，能降低部分任务难度差异的干扰。

标准误差怎样理解

在独立同分布的简单二项设定下，成功率估计的标准误差近似√[p(1−p)/n]。p是成功概率或其估计，n是尝试数。n变大，误差规模通常变小。

比如p约0.5、n=100，标准误差约0.05。这不是“真实值一定在±5%”，更不是最终置信区间的完整计算，只是波动尺度的近似。样本小、成功率接近边界或任务相关时，要更合适的方法。

置信区间不是“模型有95%自信”

置信区间是按特定统计程序，从样本构造参数范围。95%描述该程序在满足前提的重复抽样中覆盖真实参数的长期比例，不能直接改写成“这次固定区间里参数有95%概率”。

Bootstrap（自助重采样）从已有样本中有放回抽样，多次重新计算指标以估计波动。配对比较应一起抽取同一任务的A/B结果，不能拆散配对关系。它不能凭空弥补原样本完全不代表业务的问题。

LLM-as-a-Judge为什么要校验

模型评分器可以评价开放式回答，但可能受答案长度、位置顺序、措辞风格及自身错误影响。两个答案交换左右位置后评分变化，就提示位置偏差。

应提供明确标准、校准少量人工判例、随机化顺序并检查关键类别。对可执行任务，真实测试和业务结果通常比单纯让模型看文字打分更直接。

效果大小与显著性不是一回事

大量样本可能把非常小的差异测得显著，但工程收益仍不足以支付复杂度；反之，高风险故障一次被明确修复，即使样本少，也值得采取针对性措施，而不应等待漂亮总分。

把统计不确定性、业务重要性、成本、回归和可解释原因放在一起判断。结论应是“在这些条件下，证据支持到哪里”，不是“新版本必然更强”。

课后自检

机制依据：[F-PROB][EVALS][JUDGE]。本节数值与情景除另注外均为原创教学示例；来源不代替中文讲解。