新媒易动态
NEWS CENTER
NEWS CENTER
2020-04-24
在之前有关实验设计的文章中，我们简单提到过正交分层，它的作用在于将有限的用户数或流量，同时用于多个实验中而互不干扰。
理想情况下，正交分层体系中的每一层，就像是一个“平行宇宙”，可以各自进行独立的实验。在正交分层的体系里，一个用户很可能是同时被多个实验命中的。既然这样，如何能做到实验间没有互相干扰呢？
AB实验中的随机分组通过性能较好的哈希算法，将用户ID进行特殊转换处理，确保分组时尽可能做到随机。可以理解成对我们每个人的手机号做一些复杂处理，避免直接按照尾号分组时，出现尾号用户群和尾号4用户群之间的样本有偏差。
随机分组是发生在每一个分层中的，而正交分层是指层与层之间需要保证正交性，有现成的检验方法，感兴趣的同学可以自行查找，此处先不做赘述。借助一系列正交哈希算法（目前较多采用正交表算法），我们可以保证任意两层之间的实验独立性。
如上图，假设我们选择同一个用户群体，任意取到若干正交分层中的两层：分别记为第N层和第N+1层。
我们决定对第N层进行AB实验，即将该层的用户随机分为A、B两组；同时我们再对第N+1层进行AB实验，记为A1、B1两组。
两组实验覆盖到的人群是一样的，我们下发不同的策略。正交分层能够做到第N层中的A组用户，在第N+1层随机分散到A1和B1两个组。当我们在分析第N+1层实验效果时，可以认为A1组和B1组所受到来自第N层策略的影响是相同的。因此，在分析A1、B1两组间的效果差异时，可以将来自其他层的影响忽略不计。
通过正交分层，我们可以做到样本量有限时，依然可以同时进行多组实验，这有助于我们更快速找到有效的策略。因此，正交分层也成为了成熟实验平台的标配。然而，并不是满足了正交分层，我们就可以认为可以无视不同层间的策略干扰，下面我们详细介绍。
正交分层若想保证策略间“无干扰”，还需要一个前提：不同层间策略的相关性需要尽可能低。先举个例子说明策略相关性。
比如，常见的给用户发红包的策略，假定策略1是每人发0.5元，策略2是每人发1.0元。这两个策略都是发红包，是高度相关的（本质上是同一类），其效果会产生干扰。
试想，如果我们实验时分别取一层来下发策略1，另一层与之正交，下发策略2。由第一部分的解释，策略2将会均匀的影响到策略1的实验组和对照组。就这个例子看，因为策略2下发的金额较高，效果大概率会好于策略1，所以当分析策略1效果时，很可能发现其实验组相比对照组没有提升，得到“发钱无效“的实验结论。其原因是策略1（弱策略）的实验组和对照组均匀的受到了策略2（强策略）的影响，而策略2覆盖掉了策略1的效果。
策略相关性难以准确量化，可以通过策略种类、参数是否会出现增强、削弱、替代等，来判断策略是否会存在相互影响。上面是一个典型的强策略覆盖弱策略的例子，它会让弱策略看起来是无效的。可见正交分层有其明显的局限性，即便是使用了正交分层，依然无法避免相关策略间的干扰。
下面再举一些常见的、需要注意的场景：
类似的情形，你还碰到哪些？
实验分析需要基于实验场景制定针对性的分析方法，更需要选择对正确的实验方式。当需要验证这种相关策略的差异时，建议使用同一层来进行分组，对每个组进行策略互斥的实验。
实验的样本比例偏差问题（Sample Ratio Mismatch，SRM）指实验组和对照组样本比例偏离预期，所带来的对实验分析结论的影响。平时大家可能没有特别关注SRM问题，但是它在很多环节都存在。有时它的差别可以忽略不计，有时却能够颠覆实验结论。我们先介绍SRM问题可能带来的影响，接着列举可能产生SRM问题的原因，以及应对方法。
SRM问题的核心，是实验组和对照组的实际比例和理论比例有所偏差，而分析时使用的是理论比例，这个偏差就使分析结果失真，严重时会得到错误结论。
比如，我们选取一个人群按照50%/50%的比例设计了实验组和对照组，这时的理论样本比例为1.0/1.0；假设实验下发过程中因为某种原因，部分的对照组也被策略影响（或污染）到了，使得实际的样本比例是1.05/0.95。这会造成什么后果？
如前面实验分析的文章所说，在分析效果时，需要以理论的样本比例为基础，来对比实验组与对照组的指标之差。也就是说，没做实验时，这个指标差应该是0，做了实验它会偏离0，这个偏离值大小就是实验带来的影响。这个例子中，便于理解不妨把实验前各组的指标都设为100（可以不用在意是什么），SRM问题的影响可概括如下表：
表1 SRM对实验结果分析的影响示例：