这一节主要讲解回归分析。

1 如何理解方程组的解?

一般需要根据测量值列方程组,但方程解的个数是个问题。

测量误差相关知识(四)_线性回归


多个方程组一般无法用代数法直接求解,可用类似最小二乘法(残余误差平方和最小)处理。

2 什么是最小二乘法?

最小二乘法:平方俗称“二乘”,因此得名最小二乘。

其原理是在测量误差无偏(排除了系统误差影响)、正态分布和相互独立的条件下推导出的,但在不严格服从正态分布的情况下也常被使用。

最小二乘可用于线性参数以及非线性参数处理。其中,线性参数处理流程如下:

  • 首先根据具体问题列出误差方程式
  • 再按最小二乘法原理,利用求极值(最大和最小)的方法将误差方程转化为正规方程
  • 然后求解正规方程,得到待求的估计量
  • 最后给出精度估计(标准差)

对于非线性参数,可先将其线性化,然后按上述线性参数的最小二乘法处理程序去处理。

3 为什么要进行回归分析?

在生产和科学实验中,测量与数据处理的目的有时并不在于求被测量的估计值,而是为了寻求两个变量或多个变量之间的内在关系。表达变量之间关系的方法有散点图、表格、曲线、数学表达式等,其中数学表达式能较好地反映事物的内在规律性,可通过回归分析方法获得。

回归分析的类别:

  • 根据涉及变量的多少,分为:一元回归分析和多元回归分析;
  • 根据自变量与因变量的关系,分为:线性回归和非线性回归;

4 回归方程的实际意义?

回归方程需要解决两个问题

测量误差相关知识(四)_最小二乘法_02

1)方差分析

测量误差相关知识(四)_1024程序员节_03


U(回归平方和):反映了在 y 的总方差中,由于 x 和 y 的线性关系而引起y变化的部分

Q(残余平方和):所有观测点到回归直线的参与误差。是除了 x 对 y 的线性影响之外的一切因素 (包括试验误差、x对y 的非线性影响 以及其他未加控制的因素)对 y 的变差作用,这部分变差是仅考虑 x 与 y 的线性关系所不能减少的部分

测量误差相关知识(四)_回归分析_04

2)显著性检验

测量误差相关知识(四)_最小二乘法_05


重复试验下的一元回归:

测量误差相关知识(四)_回归分析_06

回归方程的显著性检验重复测量时的分析检验步骤可归纳为下表:

测量误差相关知识(四)_最小二乘法_07

3)残余标准差

测量误差相关知识(四)_最小二乘法_08


对于一元非线性回归(曲线形式),一般通过变量代换转换成线性回归,再通过最小二乘求解;或者通过多项式来描述变量关系。其曲线函数类型一般通过直接判断法(经验)和观察法(绘图)确定。对于选定的曲线函数还需要进行检验,一般采用直线检验法表差法。回归曲线方程的精度一般选R2和标准差表示。

5 如何处理回归中x方向和y方向均有误差?

正常情况下,线性回归都是假设 x 是没有误差或误差可以忽略所有误差都归结在 y 方向。但 x 的测量也可能是不精确的,存在试验误差。

极端情况,y 没有误差,所有误差来自 x 方向,则一元回归方程就要反过来建立:

测量误差相关知识(四)_回归分析_09


然后可以使用最小二乘求解参数即可。

若是两个方向都有误差,则使用戴明解法

测量误差相关知识(四)_线性回归_10