高尔顿与回归分析的起源
“回归”是由英国著名生物学家兼统计学家高尔顿(Francis Galton,1822～1911.生物学家达尔文的表弟)在研究人类遗传问题时提出来的。为了研究父代与子代身高的关系，高尔顿搜集了1078对父亲及其儿子的身高数据。他发现这些数据的散点图大致呈直线状态，也就是说，总的趋势是父亲的身高增加时，儿子的身高也倾向于增加。但是，高尔顿对试验数据进行了深入的分析，发现了一个很有趣的现象—回归效应。因为当父亲高于平均身高时，他们的儿子身高比他更高的概率要小于比他更矮的概率；父亲矮于平均身高时，他们的儿子身高比他更矮的概率要小于比他更高的概率。它反映了一个规律，即这两种身高父亲的儿子的身高，有向他们父辈的平均身高回归的趋势。对于这个一般结论的解释是:大自然具有一种约束力，使人类身高的分布相对稳定而不产生两极分化，这就是所谓的回归效应。
1855年， 高尔顿发表《遗传的身高向平均数方向的回归》一文，他和他的学生卡尔•皮尔逊Karl·Pearson通过观察1078对夫妇的身高数据，以每对夫妇的平均身高作为自变量，取他们的一个成年儿子的身高作为因变量，分析儿子身高与父母身高之间的关系，发现父母的身高可以预测子女的身高，两者近乎一条直线。当父母越高或越矮时，子女的身高会比一般儿童高或矮，他将儿子与父母身高的这种现象拟合出一种线形关系，分析出儿子的身高y与父亲的身高x大致可归结为一下关系：
y=33.73+0.516*x 单位为英寸)
根据换算公式1英寸=0.0254米， 1米=39.37英寸。单位换算成米后：
Y= 0.8567+0.516*X (单位为米);
假如父母辈的平均身高为1.75米，则预测子女的身高为1.7597米。
这种趋势及回归方程表明父母身高每增加一个单位时，其成年儿子的身高平均增加0.516个单位。这就是回归一词最初在遗传学上的含义。
有趣的是，通过观察，高尔顿还注意到，尽管这是一种拟合较好的线形关系，但仍然存在例外现象:矮个父母所生的儿子比其父要高，身材较高的父母所生子女的身高却回降到多数人的平均身高。换句话说，当父母身高走向极端，子女的身高不会象父母身高那样极端化，其身高要比父母们的身高更接近平均身高，即有“回归”到平均数去的趋势，这就是统计学上最初出现“回归”时的涵义，高尔顿把这一现象叫做“向平均数方向的回归” (regression toward mediocrity)。虽然这是一种特殊情况，与线形关系拟合的一般规则无关，但“线形回归”的术语却因此沿用下来，作为根据一种变量(父母身高)预测另一种变量(子女身高)或多种变量关系的描述方法。
回归的现代意义：
它要比其原始意义广泛的多。具体地说，回归分析的内容包括：
• 确定响应变量与预报变量间的回归模型,即变量间相关关系的数学表达式(通常称为经验公式);
• 根据样本估计并检验回归模型及未知参数；
• 从众多的预报变量中，判断哪些变量对响应变量的影响是显著的，哪些是不显著的；
• 根据预报变量的已知值或给定值来估计或预测响应变量的平均值并给出预测精度或根据响应变量的给定值来估计预报变量的值，即所谓的预报与控制问题。
