为什么归因数据不够用
主流归因模型(末次点击、多触点、数据驱动)都建立在一个前提上:能追踪到的行为,才值得归因。但真实世界里有大量无法追踪的接触点——朋友圈刷到一篇文章、线下展会的展台、同事口头推荐、播客里听到一耳朵。
这些接触点同样会影响决策,但它们不出现在任何分析工具里。平台侧看起来,某次搜索广告带来了转化;真实情况可能是客户三个月前看过的内容起了作用,搜索只是最后一步的确认。
增量测试要回答的正是这个问题:如果没有这次投放,结果会不一样吗?
增量是什么
增量(incrementality)指某项营销活动带来的、超出「不做这件事也会发生」的那部分结果。
举个具体的例子:某次投放期间销售额 100 万,如果不做这次投放本来能卖 80 万,那么增量是 20 万,不是 100 万。归因工具报给平台的通常是 100 万(或某个折扣后的数字),而真实的增量可能只有 20 万——中间那 80 万是自然需求。
这 80 万的差距,就是很多投放「看起来赚钱、实际亏钱」的根本原因。
四种测法
方法一:地域实验(Geo Experiment)
选一组条件相似的城市,随机分成实验组和对照组:实验组投放,对照组不投,然后比较两组的指标差异。
优点:能覆盖到线下、曝光、无法追踪的接触点,是最接近真实的测法。缺点:周期长(通常 4–8 周),需要足够多的城市来保证统计显著,且要求两组城市在投放前就有可比的基线数据。
方法二:PSA / Ghost Ads 实验
对一部分本该看到广告的人群,替换成公益广告或无相关的占位内容。两组都花了钱,但只有一组看到真实广告,差值就是增量。
这是 Facebook 等平台内置的实验设计,价值在于可以直接在平台内实现,不需要自己找人群。
方法三:转化暂停(Conversion Lift)
在测试期内,对已转化人群停止投放一段时间,观察本来会转化的人是否少了。适用于搜索广告这类能控制投放时机的场景。
方法四:时间序列断点分析
在预算大幅调整的节点前后做前后对比,剔除季节性因素。成本最低,但最容易被其他因素污染(竞品促销、节假日、平台算法变更),只能作为参考,不能单独作为决策依据。
实际怎么用:四步
第一步:先确认有实验空间
地域实验需要足够多的城市和足够长的历史基线。如果你的业务只覆盖几个城市,或者上线时间不长,先把数据积累起来,不要急着做实验。
第二步:设计分组,检验两组是否可比
分组要随机,但随机之后必须验证两组在实验前的关键指标(销售、历史增速、客单价)没有显著差异。如果实验前就不平衡,实验结果无效——这一步经常被跳过,也是实验失败的主要原因。
第三步:算样本量,不要靠感觉定周期
需要多大的样本量取决于三个数:预期效果大小、你愿意接受的错误率(通常 95% 置信度)、以及每日样本量。效果越小,需要的样本越多。如果算完发现需要的城市数超过你有的城市数,说明这个效果量在你的业务规模下本来就测不出来,这时候更该做定性研究而不是继续加大实验。
第四步:只对「存量大、影响大」的渠道做
增量测试本身有成本(要暂停或削减投放、要等周期)。把它用在能带来大部分转化的 2–3 个渠道上就够了,不要全渠道同时测。
适用边界
- 增量低不等于渠道没用。 品牌类渠道的增量通常确实低,但它的作用是降低其他渠道的边际成本(客户搜品牌词时的转化率更高)。用增量为 0 砍掉品牌预算,通常是错的
- 实验期间不能同时跑大改动。 中途改价格、改落地页、改投放素材,都会让实验结果无法归因
- 地域实验要求业务在地区间足够独立。 如果有跨区域配送、线上全国统一投放,地域隔离就不成立
- 增量是平均值,不是每个客户的事实。 个体层面,广告可能对一部分人完全是浪费的,实验只能给出整体效率
与相邻概念的区别
| 概念 | 回答的问题 | 与增量测试的区别 |
|---|---|---|
| 增量测试 | 这件事不做会怎样 | — |
| 归因模型 | 功劳怎么分给各触点 | 归因看相关性,增量看因果 |
| A/B 测试 | 哪个版本更好 | 比较方案差异,不测「做不做」 |
| MMM 营销组合建模 | 宏观上各渠道贡献多少 | MMM 是模型,增量测试是实验 |
| 品牌提升研究 | 品牌资产如何变化 | 关注长期认知,不关注短期转化 |
参考来源
增量测试与因果推断在广告效果测量领域的方法论,可参考关于广告外部性与边际回报的经济学讨论;地域实验(geo experiments)的统计方法在 Kohavi、Tang 与 Xu 合著的《A/B 测试》以及 Google《Trustworthy Online Controlled Experiments》一类的实验方法论文献中有专门章节;转换提升(conversion lift)测试的设计思路在主流广告平台的研究文档中有系统说明。




