假设检验 Java代码实现 null假设检验

1 描述统计学与推断统计学

上大学的时候，除了文史类专业，其他专业大部分都会学概率统计这门课程。其实概率统计这门课程是对实际生活中的各种场景的一种高度抽象，然后用严谨的数学语言进行描述罢了。但是国内的统计学教材，一上来就是各种复杂的公式，也没有对这些公式背后的实际场景进行举例说明，更没有对这些公式的发展进程进行讲解分析，导致国内的大部分学生，包括我自己在内，在学统计这门课程的时候觉得特别枯燥。老觉得这一堆乱七八糟的式子到底是个什么鬼？为什么会有这么一堆公式？我学了这堆东西除了应付考试最后到底能做什么。等真正毕业以后，要用到的时候才发现，我去原来统计学这么牛掰。然后赶紧再去翻书翻教材查资料把以前没理解的东西重新再学一遍，这个时候，才有一种真正理解透彻醍醐透顶的感觉。

统计学的应用非常广泛，大致可以分为描述统计学(descriptive statistics)与推断统计学(statistical inference)。

描述统计（descriptive statistics），又称叙述统计，是统计学中，来描绘或总结观察量的基本情况的统计总称。
研究者可以透过对数据资料的图像化处理，将资料摘要变为图表，以直观了解整体资料分布的情况。通常会使用的工具是频数分布表与图示法，如多边图、直方图、饼图、散点图等。
研究者也可以透过分析数据资料，以了解各变量内的观察值集中与分散的情况。运用的工具有：集中量数，如平均数、中位数、众数、几何平均数、调和平均数。与变异量数，如全距、平均差、标准差、相对差、四分差。

在推论统计中，测量样本的集中量数与变异量数都是变量的不偏估计值，但是以平均数、变异数、标准差的有效性最高。
数据的次数分配情况，往往会呈现正态分布。为了表示测量数据与正态分布偏离的情况，会使用偏度、峰度这两种统计数据。
为了解个别观察值在整体中所占的位置，会需要将观察值转换为相对量数，如百分等级、标准分数、四分位数等。(参考文献1)

推断统计学（或称统计推断，英语：statistical inference），指统计学中，研究如何根据样本数据去推断总体数量特征的方法。它是在对样本数据进行描述的基础上，对统计总体的未知数量特征做出以概率形式表述的推断。更概括地说，是在一段有限的时间内，通过对一个随机过程的观察来进行推断的。(参考文献2)

2.假设检验(Hypothesis Testing)

假设检验是推论统计中用于检验统计假设的一种方法。而“统计假设”是可通过观察一组随机变量的模型进行检验的科学假说。一旦能估计未知参数，就会希望根据结果对未知的真正参数值做出适当的推论。
假设检验的种类包括：t检验，Z检验，卡方检验，F检验等等。

Z检验，也称“U检验”，是为了检验在零假设情况下测试数据能否可以接近正态分布的一种统计测试。根据中心极限定理，在大样本条件下许多测验可以被贴合为正态分布。在不同的显著性水平(significance level)上，Z检验有着同一个临界值，因此它比临界值标准不同学生t检验更简单易用。当实际标准差未知，而样本容量较小（小于等于30）时，学生T检验更加适用。(参考文献3)

3.零假设(null htpothesis)

在推论统计学中，零假设（英语：null hypothesis，又译虚无假设、原假设，符号:$H_0$）是做统计检验时的一类假设。零假设的内容一般是希望能证明为错误的假设，或者是需要着重考虑的假设。在相关性检验中，一般会取“两者之间无关联”作为零假设，而在独立性检验中，一般会取“两者之间非独立”作为零假设。(参考文献4)

4.显著性水平与两类错误

对$H_0$接受与否作出判断，依据是一组样本。而样本是随机的，因此进行假设检验判断$H_0$是否可接受时，难免会发生误判而犯两类错误。
$H_0$本来是正确的，但是检验结果却错误拒绝了，这种"弃真"的错误被称为第一类错误，其概率就是显著性水平$\alpha$。即
$P(拒绝H_0 | H_0为真) = \alpha$
$H_0$本来是不正确的，但是检验结果却接受了它，于是犯了"存伪"的错误，这种错误被称为第二类错误，发生的概率被称为犯第二类错误的概率，一般用$\beta$表示，即
$P(接受H_0 | H_0不为真)= \beta$

根据某些保守或者稳健的原则。举个很常见的例子，大家都应该听过"疑罪从无"这个词。就是说如果如果只是怀疑一个人有罪，但是没有确凿的证据而只是怀疑，那么这个人最后应该是无罪的。对照第一类错误，就是我们先假设这个人是无罪的，这个假设为$H_0$。如果此时拒绝这个假设$H_0$，即判这个人有罪，我们就犯了第一类错误，即假阳性错误。用更通俗的话来说，就是把一个无辜的人判为有罪，这远比放掉一个真正的犯罪分子的后果要严重得多。所以在这种场景下，我们希望把第一类错误即"弃真"率或者假阳率控制在一个很小的范围，通常这个显著性水平$\alpha=0.05$。此时，如果我们拒绝原假设$H_0$，我们就有95%的把握断定原假设不为真，而95%(=1-$\alpha$)就是置信水平(confidence level)。

5.第一类错误与第二类错误的关系

我们希望第一类错误$\alpha$与第二类错误$\beta$都尽可能小。但是当样本容量一定的时候，$\alpha$与$\beta$是互相制约的，一个变小以后，另一个就变大了，要想当两类错误同时达到最小是不可能的。通常人们的做法是控制犯第一类错误的概率不大于一个较小的数$\alpha$，而使得犯第二类错误的概率$\beta$尽可能小。这种只对犯第一类错误的概率加以限制而不考虑犯第二类错误$\beta$的假设检验称为显著性检验，而将给定的犯第一类错误的概率称为显著性水平。