建站经验 experience
当前位置:首页 > 网站建设专题 > 建站经验
小心A/B测试的陷阱:从水沟流入下水道的水
发布日期:2010-12-17 阅读次数:989 字体大小:

当本应该流入下水道的水,却停滞在水沟时。A/B测试就是个陷阱。你不觉得A/B测试其实是类似于液体那样工作的吗?如果是不,那么我将给出正确的缘由。

在奥斯汀的某地的院子里经常有些深坑。依照常理说,水可以自然的流到大街的下水道里,但在重力作用下的水并不是这么工作的。

水总是在寻找院子里最低点,这个方法很狭隘。水并不考虑全局关系—即流到最低的地方。而是流向附近最低点。水并不知道越过栅栏就可以流到更低的地方,如:下水道。

在数学理论上,水达到的最低点不是“全局最小值”而是“局部最小值” 。也许水这是在一木障林了。

也许A/B测试有时也出现正如上述的情况

典型的A/B测试就像是这样:开始于某一点,然后改动其中一处。也许将标题由“酸奶酪将你挤垮?”改为“如何知道酸奶酪坏掉了?”然后进行测试,其中一个胜出。接着你又继续另外个测试“酸奶酪是好还是坏的?”将你改进的诸如此类的想法付诸行动后。一点一点的你会觉得收入也会随之增加。但事与愿违,往往不是这样的。

时常发生的情况是:做的小改动几乎起不到任何改进作用。并且,你很难意识到这一点。这时,你也许尝试放弃,但这也许是错误的。

你已经知道数学家所说的“局部最小值”也就是我说的“臭水沟”。 你要测试的是院子里流入最低点的水。彻底改变你的观点、话语、布局、价值主张、颜色,或是目标受众可能揭示的新的,断续的,不能增长的变化。真正的关注点在下水道(全局最小值—译者注),你需要越过障碍。由于全新地方寻找的利益有时要比改进有更好的提升。你需要从起点开始寻找那些不连续的点。

做好上述的事情你需要做好两方面:不仅需要将A增长到A2,也需应用于不同于A版本的B版本。这样一来,即可以得到由于小调整带来的增长,也可以通过改进某些地方来获得提升。这也许可以让你的收益增长的更快。

当你在玩弄新想法与新个性的时候,也需要有些微小的变化。

英文地址:Out of the cesspool and into the sewer: A/B testing trap

译文地址:http://davidw.me/translate/local-minimum-global-maximum/