跳到正文

增量测试:怎么证明广告真的带来了增量

主流归因模型(末次点击、多触点、数据驱动)都建立在一个前提上:能追踪到的行为,才值得归因。但真实世界里有大量无法追踪的接触点——朋友圈刷到一篇文章、线下展会的展台、同事口头推荐、播客里听到一耳朵。

为什么归因数据不够用

主流归因模型(末次点击、多触点、数据驱动)都建立在一个前提上:能追踪到的行为,才值得归因。但真实世界里有大量无法追踪的接触点——朋友圈刷到一篇文章、线下展会的展台、同事口头推荐、播客里听到一耳朵。

这些接触点同样会影响决策,但它们不出现在任何分析工具里。平台侧看起来,某次搜索广告带来了转化;真实情况可能是客户三个月前看过的内容起了作用,搜索只是最后一步的确认。

增量测试要回答的正是这个问题:如果没有这次投放,结果会不一样吗?

增量是什么

增量(incrementality)指某项营销活动带来的、超出「不做这件事也会发生」的那部分结果。

举个具体的例子:某次投放期间销售额 100 万,如果不做这次投放本来能卖 80 万,那么增量是 20 万,不是 100 万。归因工具报给平台的通常是 100 万(或某个折扣后的数字),而真实的增量可能只有 20 万——中间那 80 万是自然需求。

这 80 万的差距,就是很多投放「看起来赚钱、实际亏钱」的根本原因。

四种测法

方法一:地域实验(Geo Experiment)

选一组条件相似的城市,随机分成实验组和对照组:实验组投放,对照组不投,然后比较两组的指标差异。

优点:能覆盖到线下、曝光、无法追踪的接触点,是最接近真实的测法。缺点:周期长(通常 4–8 周),需要足够多的城市来保证统计显著,且要求两组城市在投放前就有可比的基线数据。

方法二:PSA / Ghost Ads 实验

对一部分本该看到广告的人群,替换成公益广告或无相关的占位内容。两组都花了钱,但只有一组看到真实广告,差值就是增量。

这是 Facebook 等平台内置的实验设计,价值在于可以直接在平台内实现,不需要自己找人群。

方法三:转化暂停(Conversion Lift)

在测试期内,对已转化人群停止投放一段时间,观察本来会转化的人是否少了。适用于搜索广告这类能控制投放时机的场景。

方法四:时间序列断点分析

在预算大幅调整的节点前后做前后对比,剔除季节性因素。成本最低,但最容易被其他因素污染(竞品促销、节假日、平台算法变更),只能作为参考,不能单独作为决策依据。

实际怎么用:四步

第一步:先确认有实验空间

地域实验需要足够多的城市和足够长的历史基线。如果你的业务只覆盖几个城市,或者上线时间不长,先把数据积累起来,不要急着做实验。

第二步:设计分组,检验两组是否可比

分组要随机,但随机之后必须验证两组在实验前的关键指标(销售、历史增速、客单价)没有显著差异。如果实验前就不平衡,实验结果无效——这一步经常被跳过,也是实验失败的主要原因。

第三步:算样本量,不要靠感觉定周期

需要多大的样本量取决于三个数:预期效果大小、你愿意接受的错误率(通常 95% 置信度)、以及每日样本量。效果越小,需要的样本越多。如果算完发现需要的城市数超过你有的城市数,说明这个效果量在你的业务规模下本来就测不出来,这时候更该做定性研究而不是继续加大实验。

第四步:只对「存量大、影响大」的渠道做

增量测试本身有成本(要暂停或削减投放、要等周期)。把它用在能带来大部分转化的 2–3 个渠道上就够了,不要全渠道同时测。

适用边界

  • 增量低不等于渠道没用。 品牌类渠道的增量通常确实低,但它的作用是降低其他渠道的边际成本(客户搜品牌词时的转化率更高)。用增量为 0 砍掉品牌预算,通常是错的
  • 实验期间不能同时跑大改动。 中途改价格、改落地页、改投放素材,都会让实验结果无法归因
  • 地域实验要求业务在地区间足够独立。 如果有跨区域配送、线上全国统一投放,地域隔离就不成立
  • 增量是平均值,不是每个客户的事实。 个体层面,广告可能对一部分人完全是浪费的,实验只能给出整体效率

与相邻概念的区别

概念 回答的问题 与增量测试的区别
增量测试 这件事不做会怎样 —
归因模型 功劳怎么分给各触点 归因看相关性,增量看因果
A/B 测试 哪个版本更好 比较方案差异,不测「做不做」
MMM 营销组合建模 宏观上各渠道贡献多少 MMM 是模型,增量测试是实验
品牌提升研究 品牌资产如何变化 关注长期认知,不关注短期转化

参考来源

增量测试与因果推断在广告效果测量领域的方法论,可参考关于广告外部性与边际回报的经济学讨论;地域实验(geo experiments)的统计方法在 Kohavi、Tang 与 Xu 合著的《A/B 测试》以及 Google《Trustworthy Online Controlled Experiments》一类的实验方法论文献中有专门章节;转换提升(conversion lift)测试的设计思路在主流广告平台的研究文档中有系统说明。

说明: MarTech Daily内容仅供参考,不构成任何投资或商业建议。转载请注明出处。

分享

发表评论