模板 · 实验计划与结果

适用：测试前写计划，测试后按原计划解释。方法见 实验与低流量验证。

为什么计划在看结果前填写

虚构示范：A、B 各十人，完成三人与四人，就得到十个百分点差异。如果你每天等到 B 看起来最好时停止，会把偶然波动当成确定提升。

先定义足以改变决定的差异，再估算可获得信息、分析时点与停止条件。主指标用来回答原问题，护栏用来限制代价；探索发现可以启发下一轮，不能事后换成原主指标。

流量不足时可填任务观察计划，说明能找到具体障碍但不能估计精确因果提升。预定结论不确定仍是合法结果；严重权益故障则按护栏及时止损。

预先登记

• 实验名、负责人、日期与版本：
• 待决问题、因果假设与已有证据：
• 机制如何推出预期、哪些条件不适用：
• 对照 A、处理 B、唯一主要变化：
• 目标人群、资格和排除：
• 随机化单元、稳定分配、比例与互斥实验：
• 实际曝光与未触发用户的分析规则：

指标角色	精确定义与口径链接	基线	最小有意义差异	观察窗／成熟条件
主指标
护栏
探索指标

• 统计方法、显著性／功效或其他预定框架：
• 样本量依据、所需时间、周期因素：
• 预定分析时点与中途查看规则：
• 异常中止、权益保护与恢复：
• 成功、失败、不确定时分别怎么做：
• 时间／现金上限：

执行核查

• 实际组人数、SRM 与资格一致性：
• 版本、渠道、曝光、事件缺失和延迟：
• 样本是否成熟、是否受相互影响：
• 偏离计划、异常与处理记录：

结果与决定

指标	A 分子／分母	B 分子／分母	绝对差异	相对差异	区间／预定统计量	护栏结论

• 数据支持什么、不支持什么：
• 实际价值与额外成本：
• 探索发现（与预定结论分开）：
• 发布、继续验证、保留原状或停止的决定：
• 负责人、复查日期与后续验证：

流量不足时，填写任务观察、访谈或原型验证计划，明确无法作精确统计结论。验收：不以不显著证明相同，不在看到结果后更改主指标来宣告成功。