在互联网时代做产品的人都知道要“看数据”，通过数据来了解产品设计的好坏，来决定下一步的改进方向。一个新版本上线，产品经理会去看点击率，转换率是否提升，从而判断新版本和老版本相比，是否有所改进，并决定是否需要进一步优化。大部分产品经理在评估时，只是看上线前后几天的对比数据。殊不知，点击率，转换率数据本身就是有波动的，特别有些产品用户量还不够大的时候。因此几天的数据好不一定就说明效果好。那怎么办？需要看更长时间的数据吗？产品本身迭代的速度就快，如果观察时间长，那可能观察的就不是当前版本的数据了。
在这种情况下，就需要用到概率分布的知识。一些基本的概率分布知识，大家大学中都学过，只不过很多人没有想到把它们应用到实际工作中。
假设你要评估某一改版对某个功能点击率的影响，上线前平均的点击率是 20%，上线后观察了一天，发现点击率是30%，是否说明新版本效果比原来的好？不一定。让我们来看两种情况：
情况一：上线前一周，每天的点击率数据分别是：10%， 25%， 5%，40%，15%，30%，15%；情况二：上线前一周，每天的点击率数据分别是：18%， 22%， 19%，23%，20%，18%，20%；这两种情况下，点击率均值都是20%，但其概率分布是不一样的。在一的情况下，30% 的转化率还是处于正常的波动区间；而在情况二的情况下，我们可以基本判定新版本效果比原来的好。
所以在看产品数据时，应该充分应用概率知识。不要简单的做前后数据对比，而应该看上线前的一系列数据，对数据的波动范围有整体的把握，再看上线后的数据所处的区间，从而做出数据变好还是变差的判断。很多时候，上线后的数据也可以看2-3个，进一步验证判断。
在实际工作中，很多时候，会遇到数据波动过大的情况。就像我举的例子中的情况一。在这种情况下，一些小的改进，由于作用有限，很难判断是否有效果。这时，可以采用一些方法让数据的波动降下来，从而能更容易观察到一些改进的效果。
最常用的方法是取阶段平均。一些数据每天的波动比较大，但看每周的平均数，波动就会小很多。因此用上线后的一周平均和之前的系列数据做比较，就容易看出一些变化。
另外，很多时候可以选择部分稳定的数据作为比较依据。譬如说，一些转换率数据，每天来看，波动比较大，但除去周末，只看工作日的话，数据可能会稳定很多。这时可以仅比较上线前后工作日的数据。又譬如说，一些数据，看全体用户的话，波动率很大，但只看注册用户的话，波动就小很多，这时可以只比较上线前后注册用户的数据。
