A/B 实验、统计直觉与低流量验证
新引导上线后，独立完成率从 30% 变成 35%。你想宣布提升了约六分之一，但这一周刚好换了招募渠道。你看到的是引导效果，还是来了一批更熟练的人？
本篇帮助你理解随机比较为什么有用、小样本为什么容易误判，以及流量不足时仍能怎样推进决定。以下数值都是模拟教学计算。
为什么上线前后对比不能自动归因
前后变化可能同时来自渠道、日期、内容、设备和玩家经验。即使事件没有错误，你也不知道“同一时期不改引导会怎样”。A/B 实验让符合资格的人随机进入对照或新方案，尽量让这些其他条件在平均上可比。
随机化降低系统性偏差，并不保证有限样本两组完全相同。还需稳定分组、相同资格、可靠事件与足够观察；不能把随机按钮当可信结论的全部来源。研究入口见 Microsoft 实验平台。
从一个假设推导实验约定
假设“可操作示范比长说明更容易让新玩家独立完成”。只改引导，保持关卡、渠道和广告策略一致，按玩家稳定分组。同一人会话间换组，会把两种经历混在一起，学习还可能带到另一方案。
主指标选固定窗口内的独立完成率；后续开始、加载失败和投诉作为护栏，检查是否以牺牲其他体验换来完成。多人交互或传播会让玩家互相影响，可能需要按群等单位分组，不能机械按单人独立计算。
计划还包括资格、材料版本、最小有意义差异、样本与时长、分析方法、停止条件和决策规则。在看结果之前写，是为了避免只挑看起来好的指标和时间段。
为什么几个人的差异很不稳定
模拟每组十人，A 三人完成、B 四人完成，就是 30% 与 40%。只改变一个人的结果，差异就变化十个百分点。人数少时，偶然差异很容易占据画面；差异越小、波动越大，通常需要越多信息去区分信号与噪声。
这一规划思路可对照 Kohavi 等的实验指南第 3 节，以下数字是本书自拟的近似计算。
规划两个独立比例的比较时，可用近似：n ≈ 2 × (1.96 + 0.84)² × p × (1-p) / δ²。其中 n 是每组人数，p 是基线比例，δ 是要识别的绝对差异；1.96 与 0.84 对应常见的双侧 5% 显著性和 80% 功效设定。
显著性控制的是在无差异假设成立时，按约定程序误报差异的概率；功效描述若目标差异存在，程序有多大机会检出。它们都不是“本次结论为真的概率”。公式仅是相近比例下的规划近似，实际设计还要核对适用方法与样本损失。
以 p 为 0.30、δ 为 0.05，近似每组需约 1,318 人。若每天只有二十名合格新玩家，两组共需约 2,636 人，仅收样就约 132 天，还没算流量变化和数据成熟。此时一个短期精确 A/B 承诺可能不现实。
30% 到 35% 是增加五个百分点，相对增幅约 16.7%；后者好看一些，但没有提供更多证据。
为什么不能一看到显著就停
不断查看、在最有利时刻停止，再挑表现好的指标或分群，会改变原本程序的误报风险。常规固定样本分析按预先计划结束；需要连续监测统计结论时，应预先采用合适的方法。
严重崩溃、权益或安全问题可以按预设护栏立即停止，不应为了样本量继续伤害玩家。结束前还检查分组人数是否异常、资格是否一致、事件是否缺失、留存队列是否成熟。预期各半却极不均衡，可能是分组或采集出错，应先排查，不能只计算差异。
低流量时，怎样获得仍有用的证据
任务观察可以发现示范其实没有解释松手规则，原型比较可以暴露明显困惑，小范围上线可以找到崩溃。它们不能估计精确平均提升，却可能已经足以修改方案，避免等待数月才发现一个基础问题。比较同一人时记录顺序与学习效应。
适用边界：不显著不等于相同
p 值描述：在所设定的无差异假设及统计模型成立时，出现当前这样或更极端统计结果的概率。它不是“方案无效的概率”，也不直接衡量改善有多大。
结果可能因为信息不足而不确定，不能见 p 值超过门槛就宣布无效。若需要证明不劣于或等效，应事先定义容忍边界和相应方法。统计显著也不保证收益大于成本，仍需报告区间、实际差异与护栏。