一、假设检验的基本认识
1.假设检验的概念
假设检验的本质：检验两组数据的差异是否显著。
当然，假设检验也可以检验多组数据的差异
另外，假设检验一般还会分为：均值检验、方差检验等等
这里就只深入了解两组数据的均值差异检验，即可。。。
2. 假设检验的应用场景
2.1 具体应用举例
产品迭代：检验产品迭代的两组数据（迭代、未迭代），通过判断迭代后的产品效果是否有显著改善（用户使用时长增加、用户点击率更高等），进而可以明确迭代是否有效。
算法优化：检验算法优化的两组数据（优化、未优化），通过判断优化后的算法效果是否显著提高（算法速度更快，或算法更精确），进而可以明确算法优化是有效的。
运营调整：检验运营调整的两组数据（调整、未调整），通过判断调整后的运营效果是否显著提高（用户满意度更高、用户付费率更高等），进而可以明确运营调整是有效的。
…
2.2 具体应用-ABtest
ABtest实际会应用假设检验，完成具体的数据分析。
但ABtest实验，更注重实验设计，假设检验只是ABtest中的数据分析工具。
3.基本原理
检验两个版本间的数据差异，进而可以用来判断变量的影响：
- 如果数据差异不显著，则认为变量没起作用，即认为两个版本是一样的，没有本质差异；
- 如果数据差异很显著，则认为变量起作用了，即认为两个版本是不同的，有本质上的差异。
那么，关键就在于怎么判断数据差异是否显著呢？
3.1 数据差异的显著性判断
① 根据数值差距的大小对比
之前，我们通过图表对比数据差异时，是根据数值差距的大小来判断的。
如果图表上的数值差距比较大，人们会认为是变量起作用导致的数据差异。
但这样的判断方式还是不够科学严谨的。
因为数值差距的大小，不一定是变量的影响，有可能是因为抽样的随机性引起的。
我们拿一只猫咪的减肥前、后的体重数据来举例。
- 运动减肥前，统计 3 个月体重数据为A组数据：
均值：它这三个月平均体重是15斤；
大概率：但由于它吃得多拉的多，所有体重常常浮动在12-18斤之间；
小概率：偶尔吃得多时体重能达22斤，拉的多时体重会低至9斤。
主人为了它健康着想，开始让猫咪每天在跑步机狂奔。
- 运动减肥后，抽取猫咪一周的体重为B组数据：
均值：平均为14斤。
数据对比：运动前、后平均体重相差1斤，是否可以说明猫咪运动减肥有效了呢？
如果你有过早上瘦2斤，晚上胖3斤的经历，就会拽着一张二五八脸告诉我，不一定！
👉有可能运动减肥有效，使运动减肥后那一周平均体重降到了14斤——【变量导致的本质差异】；
👉有可能运动减肥无效，是那一周刚好随机测量到猫咪拉的多的体重，才测出那周体重14斤——【随机抽样导致的差异】。
抽样的随机性所导致的数据差异，我们可以称为随机误差（专业点叫抽样误差，但不够贴切）；
变量影响导致的数据差异，我们可以称为本质差异。
（本质差异表示变量对物体产生影响，导致物体本质发生了改变，因此本质改变前后的数据差异，我们可以称之为本质差异。）
因此，随机误差，会干扰我们对变量影响的判断。
法国著名的数学家、天文学家和物理学家-拉普拉斯曾经说过：“当我们缺乏足够的知识来确定一个事件时，我们可以使用概率理论来测量它。”
听伟人的话，不吃亏
这种情况下，我们可以进一步分析随机误差的可能性大小，即随机误差的概率。
②根据随机误差的概率判断
1）如果随机误差的可能性非常小（概率极小），那么可以认为差异几乎不太可能是随机性出现的差异；
👉所以，应该是变量导致的本质差异。
2）如果随机误差的可能性较大（概率较大），那么差异既有可能是随机出现的，也有可能是变量导致的。
👉所以，无法判断变量是否产生影响。
因此，当差异几乎不太可能是随机出现时，即随机误差的概率极小，我们才能认为数据差异是变量影响导致的本质差异。
因此总结来看：
① 假设检验主要是检验两组数据的差异，可以用来判断变量的影响。
② 但我们知道，数据之间的差异，既有可能是随机抽样导致的误差，也可能是变量导致的本质差异。
③ 所以，我们需要根据随机误差的概率，判断数据差异究竟是随机误差，还是由变量影响导致的本质差异。
最终：
- 如果随机误差概率大，则无法证明变量是否有影响
- 如果随机误差概率极小，则可认为数据差异是变量影响导致的本质差异。
这种根据随机误差的概率大小，判断两个数据差异是随机误差，还是本质差异的方式，是统计学中的显著性本质。
