为什么大部分增长实验无效
大量团队做实验的方式是：想一个点子，改一版，跑两周，看结果。这个流程的失败率很高，原因通常不是点子不好，而是实验设计本身有缺陷——最常见的是样本量不足和重复采样。
一个没有统计功效的实验，结果无论好坏都不可信：涨了 3% 可能是真实效果，也可能是随机波动。
三个必须先解决的问题
一、样本量：效果越小，需要的人越多
这是最常被跳过的一步。样本量由三个数决定：基线转化率、你期望的最小可检测效果、以及你愿意承受的假阳性/假阴性概率。
关键在于「最小可检测效果」怎么定。它不该由「我希望涨多少」决定，而该由「涨多少才值得这次改动的成本」决定。如果改一个落地页要两周开发，那么能带来 2% 提升的效果就不值得做——你可以据此直接放弃这个实验，省下两周。
现实中最常见的错误是：基线转化率本来只有 2%，想检测 10% 的相对提升，只需要几千个样本；但如果想检测 10% 的相对提升中的 0.2 个百分点，需要几十万样本。转化率越低，检测微小效果所需的样本量呈指数上升。
二、随机性：重复采样是致命错误
最普遍的问题不是样本量不足，而是同一个用户同时进入了实验组和对照组——比如按设备随机，但用户在实验期间切换了设备；或者按 Cookie 随机，但用户清了 Cookie。
结果是对照组和实验组互相污染，实验效果被稀释。转化率越低、数据量越小的实验，稀释效应越致命，因为有效样本里「两边都有记录」的比例会很低。
解决办法是：按用户 ID 而非设备或 Cookie 随机；分流后锁定；有条件时做用户级别的持久化分桶。
三、周期：不要在周期结束前偷看并提前决策
「显著了就赶紧停」是统计上的经典错误（peeking）。反复查看并在中途宣布结果，会让假阳性率远高于你设定的 5%。
正确做法是：实验开始前就定好结束日期和所需样本量，到日期再分析。如果业务上必须提前决策，至少要用序贯检验的正确方法，而不是每天看一眼。
另外要注意实验周期必须覆盖完整的业务周期。只在工作日跑 3 天，会漏掉周末用户行为的差异；只跑 2 周，会漏掉月初的促销效应。至少覆盖 2 个完整的周周期。
指标：先定主指标和护栏指标
每个实验在开始前必须写清楚三件事：
- 主指标：这个改动想提升什么，只能有一个
- 护栏指标：不能被牺牲的指标（常见是转化率、客诉率、退订率、页面加载时间）
- 停止条件：出现什么情况必须立即停止（比如护栏指标跌破阈值）
没有护栏指标的实验很容易出现「主指标涨了 15%，但退款率也涨了 20%」的情况，而后者往往在两周后才被发现。
实际怎么用：六步
第一步：把「我想试试」写成一句可证伪的假设
格式：因为〔某个洞察〕，所以对〔某个人群〕做〔某个改动〕，将会让〔主指标〕提升〔幅度〕。
写不出这句话，说明这个点子还没想清楚，不该进实验。
第二步：算样本量，不够就改设计
算完发现需要的流量超过你现有流量的 30%，那这个实验短期内做不了。应对方式有三种：接受更长的周期、放宽最小可检测效果（做更粗的判断）、或者放弃。直接开跑然后草率下结论是最差的选择。
第三步：分流，确认分流正确
实验开始后第一件事是验证两组的人数比例是否接近预期、基线指标是否一致。如果随机分流失效（比如按某个不随机的字段分流），越早发现越好。
第四步：只看护栏指标，不动主指标
实验进行期间不要反复看主指标。护栏指标可以每天看，因为它只在触线时才需要行动。
第五步：到期分析，输出结论
结论只有三种：显著有效（全量）、显著无效（放弃）、数据不足（再做一次或延长）。不要有第四种「看起来不错，先推一部分试试」——小流量推一部分在统计上无法证明有效，反而制造了不一致的用户体验。
第六步：沉淀实验档案
把每次实验的假设、样本量、结果记录下来。三个月后你会发现，某个假设已经失败了五次——这本身就是最有价值的结论，说明这个方向不要再试了。
适用边界
- 创意质量决定实验上限。 如果手里有 10 个点子全是「把按钮改成蓝色」这一类，实验做得再规范也测不出东西。实验方法解决的是「怎么测准」，不解决「测什么」
- 需要流量支撑。 日访问量几百的站点，单侧流量可能连样本量都凑不齐，这类业务更适合用前后对比加定性访谈
- 不能测长期影响。 两周实验看不到品牌认知、用户信任这类需要半年才显现的变化，这类问题要用其他方法研究
- 实验不替代产品直觉。 统计显著不等于值得做——把某个低价值页面的转化率提升 5%，可能远不如把首次使用体验做好
与相邻概念的区别
| 概念 | 核心问题 | 与增长实验的区别 |
|---|---|---|
| 增长实验 | 这个改动是否有效 | — |
| 可用性测试 | 用户能不能完成这个任务 | 定性、小样本、无统计结论 |
| 用户访谈 | 用户为什么这么做 | 解释「为什么」，实验测「有没有用」 |
| 灰度发布 | 新功能上线会不会出事 | 灰度是风险控制，不要求统计显著 |
| 前后对比 | 改动前后有什么变化 | 无对照组，无法排除外部因素 |
参考来源
在线实验的统计方法可参考 Kohavi、Tang 与 Xu 的《A/B 测试》，以及 Google 关于可信在线对照实验的方法论文献（Daphne Koller 等）；显著性检验与多重比较的注意事项在《统计学的世界》中有通俗讨论；实验驱动增长的组织方法可参考《精益数据分析》（Croll & Yoskovitz）。
