Lasso分位数回归

微分方程

欧拉法

前向欧拉: $y_{n+1} = y_n + hf(x_n, y_n)$

后退欧拉: $y_{n+1} = y_n + hf(x_{n+1}, y_{n+1})$

两步欧拉: $y_{n+1} = y_{n-1} + 2hf(x_n, y_n)$

变形欧拉: $y_{n+1} = y_n + hf(x_{n+\frac{1}{2}}, y_{n+\frac{1}{2}})$

改进欧拉: KaTeX parse error: \tag works only in display equations

误差分析

截断方法误差

前向欧拉: $\frac{h^2}{2}y^{(2)}(\eta)$

后退欧拉: $\frac{h^2}{2}y^{(2)}(\eta)$

两步欧拉: $\frac{h^3}{3}y^{(3)}(\eta)$

变形欧拉: $\frac{h^3}{24}y^{(3)}(\eta)$

改进欧拉: $-\frac{h^3}{12}y^{(3)}(\eta)$

• $O(h^{n+1})$等价于有$n$阶精度

前向欧拉累积方法误差
$\delta_{n+1} = (1+h\frac{\partial f}{\partial y})\delta_n + \frac{h^2}{2}y^{(2)}(\eta) \leq (1+hM)\delta_n + \frac{h^2}{2}L\leq \frac{1-A^n}{1-A}B \leq \frac{k}{hM}\frac{h^2}{2}L = O(h)$
前向欧拉累积舍入误差
$\delta_{n+1} = (1+h\frac{\partial f}{\partial y})\delta_n + \frac{1}{2}\cdot 10^{-m} \leq (1+hM)\delta_n + \frac{1}{2}\cdot 10^{-m} \leq \frac{1-A^n}{1-A}B \leq \frac{k}{2hM}\cdot 10^{-m} = O(\frac{1}{h})$
改进欧拉累积方法误差
$\begin{cases} \bar \delta_{n+1} \leq (1+hM)\delta_n + \frac{L}{2}\cdot h^2 \\ \delta_{n+1} \leq \delta_n + \frac{h}{2}M\delta_n + \frac{h}{2}M\bar\delta_{n+1} + \frac{T\cdot h^3}{12} \end{cases} \\ \delta_{n} \leq (1+h\cdot M + \frac{h^2}{2}\cdot M^2)\delta_{n-1} + (\frac{LM}{4} + \frac{T}{12})h^3 \\ = |\frac{1 - (1+hM+\frac{h^2}{2}M^2)^n}{1 - (1+hM+\frac{h^2}{2}M^2)}|(\frac{LM}{4} + \frac{T}{12})h^3 \\ = |\frac{1 - (1+hM+\frac{h^2}{2}M^2)^n}{(hM+\frac{h^2}{2}M^2)}|(\frac{LM}{4} + \frac{T}{12})h^3 \\$
改进欧拉累积舍入误差
$\begin{cases} \bar \delta_{n+1} \leq (1+hM)\delta_n + \frac{1}{2}\cdot 10^{-m} \\ \delta_{n+1} \leq \delta_n + \frac{h}{2}M\delta_n + \frac{h}{2}M\bar\delta_{n+1} + \frac{1}{2}\cdot 10^{-m} \end{cases} \\ \delta_{n} \leq (1+h\cdot M + \frac{h^2}{2}\cdot M^2)\delta_{n-1} + (1 + \frac{hM}{2})\cdot \frac{1}{2}\cdot 10^{-m} \\ = |\frac{1 - (1+hM+\frac{h^2}{2}M^2)^n}{1 - (1+hM+\frac{h^2}{2}M^2)}|(1 + \frac{hM}{2})\cdot \frac{1}{2}\cdot 10^{-m} \\$

龙格-库塔

二阶龙格-库塔

$y_{n+1} = y_n + h[\lambda_1 K_1 + \lambda_2 K_2]$

$K_1 = f(x_n, y_n)$, $K_2 = f(x_{n+ph}, y_n+phK_1)$
$y_{n+1} = y_n + h[\lambda_1 f(x_n, y_n) + \lambda_2 f(x_{n+ph}, y_n+phK_1)] \\ = y_n + h(\lambda_1+\lambda_2) f(x_n, y_n) + \frac{\partial f}{\partial x}ph + \frac{\partial f}{\partial y}phK_1 \\ = y_n + h(\lambda_1+\lambda_2) f(x_n, y_n) + (\frac{\partial f}{\partial x}+\frac{\partial f}{\partial y}f)\lambda_2 ph^2$

四阶龙格-库塔

线性多步法

显性公式
$y_{n+1} = y_n + h\sum_{k=0}^{m} \beta_k f_{n-k} \\ R(f) = \frac{f$
隐性公式
$y_{n+1} = y_n + h\sum_{k=0}^{m} \beta_k f_{n+1-k} \\ R(f) = \frac{f$
隐性公式优于显示公式 (显示预测、隐式校正)
$m = 1 ; R(f_隐) = -\frac{h^3}{12}f$
泰勒展开构造

例如: 令$y_{n+1} = y_n + h[a_0 f_n + a_1 f_{n-1} + a_2 f_{n-2}]$

解: 把$y_{n+1}, f_n, f_{n-1} ...$都泰勒展开，让尽可能多的项被消掉

方程求根

迭代法

• 问题: 求解$y= f(x)$
  求解: 由于$f(x) = 0$，因此构造$\phi(x)=x\pm f(x)$，迭代求取$x_{n+1} = \phi(x_n)$有$\lim_{n\rightarrow\infty}x_n = x^*$
• 定理: 若 $^1 x\in[a,b], \phi(x)\in [a,b] ^2 0<L<1, |\phi(x)-\phi(x$收敛到$x^*$
  (第二个条件等价于区间内导数恒小于一)
• 定理: 若$^1 \phi$在$x^*$附近连续 $^2 |\phi$在$x^*$附近收敛到$x^*$
  方法: 令$\phi(x) = x + af(x)$、要求$|\phi$、给$x$求$a$或给$a$求$x$
• $x_{n+1}-x^* = \phi^{(p)}(x^*)e^{p} \Rightarrow$ p阶收敛 $\Rightarrow e_{n+1}=\frac{1}{p!}\cdot e_n^p$
• 事后估计(给出误差上界): $|x_k-x^*|\leq\frac{1}{1-L}|x_{k+1}-x_k|$
  事前估计(给出迭代次数): $|x_k-x^*|\leq\frac{L^k}{1-L}|x_{1}-x_0|$

牛顿法

• $\phi(x) = x + af(x) = x - \frac{f(x)}{f$
• $\frac{M}{2}|e_0|<1$ $\Rightarrow$ 收敛 (证明$e^n \leq \frac{2}{M}(\frac{M}{2}|e_0|)^{2^{n+1}}$)
• 牛顿下山法(可以不用在意初值)
  $\bar x_{k+1} = x_k - \frac{f(x)}{f$
• m重根
  若$f(x) = (x-x^*)^mg(x)$则有$\phi(x) = x - \frac{f(x)}{f$
  法一: $\phi(x) = x - m\frac{f(x)}{f$
  法二: $f(x) = (x-x^*)g(x)$

弦截法&抛物线法

• 弦截法
  $x_{k+1} = x_k - \frac{f(x_k)}{f[x_{k-1}-x_k]} \\ x\in [x^*-\delta, x^*+\delta], |e_{n+1}| \leq M|e_n||e_{n-1}|\leq\frac{(M\delta)^n}{M}, M = \frac{maxf$
• 抛物线法

线性方程组

高斯法

• 高斯消去: 加减法$\frac{n^3}{3}$次、乘除法$\frac{n^3}{3}$次、各阶顺序主子式不为零
• 主元素消去: 列主元素消去(交换行)、行主元素消去(交换列)、全面主元素消去
• 三角分解: $A=LU$存在且唯一 (其中L是单位下三角U是上三角阵)

三角分解

• 直接法: 欲求$Ax = b$、分解为$A=LU$、先用$Ly=b$求得$y$、再用$Ux=y$求得$x$
• 平方根法: $A$为对称阵、可分解为$A=LDL^T=(LD^{\frac{1}{2}})(D^{\frac{1}{2}}L^T)$、先用$y=(LD^{\frac{1}{2}})b$求得$y$、再用$(D^{\frac{1}{2}}L^T)x=y$求得$x$

范数

• 向量范数

• $||x|| \geq 0, x\neq 0$
• $ ||cx|| \geq c||x||$
• $||x+y|| \leq ||x|| + ||y||$

• 矩阵范数(需额外满足)

• $||AB|| \leq ||A||\cdot ||B||$
• $||Ax|| \leq ||A||\cdot ||x||$ , 称$||A||$为与向量范数相容的矩阵范数

• 范数

• $||x||_1 = \sum_i |x_i|$, 列范数$||A||_1 = \max_j\sum_i |x_{ij}|$
• $||x||_2 = \sqrt{\sum_ix_i^2}$, $||A||2 = \sqrt{\lambda{max}(A^TA)} $
• $||x||_\infty = max_i |x_i|$, 列范数$||A||_\infty = \max_i\sum_j |x_{ij}|$

• 误差分析

• $(A+\delta A)(x+\delta x) = b \Rightarrow \frac{||\delta x||}{||x||} = ||A|| \cdot ||A^{-1}||\cdot \frac{||\delta A||}{||A||}$
• $A(x+\delta x) = (b+\delta b) \Rightarrow \frac{||\delta x||}{||x||} = ||A|| \cdot ||A^{-1}||\cdot \frac{||\delta b||}{||b||}$
• $(A+\delta A)(x+\delta x) = (b+\delta b) \Rightarrow \frac{||\delta x||}{||x||} = ||A|| \cdot ||A^{-1}||\cdot (\frac{||\delta A||}{||A||}+\frac{||\delta b||}{||b||})$

• 条件数 (条件数过大称为病态) $cond(A) = ||A||\cdot ||A^{-1}||$

• $cond(A)\geq 1$, $cond(A)=1 \Leftrightarrow A=I$
• $cond(A) = cond(A^{-1})$
• $cond(cA) = cond(A)$
• $cond_2(A) \geq \frac{\lambda_{max}}{\lambda_{min}}$

• 事后估计
  $\frac{||x - x^*||}{||x^*||} = ||A|| \cdot ||A^{-1}||\cdot \frac{||b-Ax||}{||b||}$

迭代法

$Ax=b \Rightarrow (D+L+U)x = b \Rightarrow x^{(k+1)} = Bx^{(k)}+f$

• 雅可比法
  $x^{(k+1)} = -D^{-1}(L+U)x^{(k)}+-D^{-1}b = Bx+f$
• G-S法
  $x^{(k+1)} = -(D+L)^{-1}Ux^{(k)}+-(D+L)^{-1}b= Bx+f$
• 定理:

• $\rho(B) = max_i|\lambda_i| \lt 1 \Leftrightarrow$
• $||B|| \lt 1 \Rightarrow $ 迭代法收敛 (证明: $Bx=\lambda x \Rightarrow ||B||\geq||\lambda||$)
• A是严格对角优势阵 $\Rightarrow$
• A是正定对称阵 $\Rightarrow$

逐次超松弛迭代

• SOR法: 由G-S可知、加入松弛因子$w$、整理可得

$x^{(k+1)} = x^{(k)} + D^{-1}[b-Lx^{(k+1)} - (D+U)x^{(k)}] \\ x^{(k+1)} = x^{(k)} + wD^{-1}[b-Lx^{(k+1)} - (D+U)x^{(k)}] \\ x^{(k+1)} = (D+wL)^{-1}[(1-w)D-wU]x^{(k)} + w(D+wL)^{-1}b = Bx+f$

• 定理

• SOR法收敛$\Rightarrow 0\leq w\leq 2$
• A正定对称且$0\leq w\leq 2 \Rightarrow$

• 误差估计

• 事后 $||x^{(k)}-x^*|| \leq \frac{||B||}{1-||B||}||x^{(k)}-x^{(k-1)}||$, (给出上界)
• 舍入 $||\delta_{k+1}|| \leq ||B||\cdot ||\delta_k|| + \frac{1}{2}\times 10^{-m}$

第八章

特征值求取

• 引理
  $By=\lambda y, B = P^{-1}AP, A(Py) = \lambda (Py)$
• 幂法
  $v_0 = \alpha_1 x_1 + ...+\alpha_kx_k \\ v_k = Av_{k-1} = \alpha_1\lambda_1 x_1 + ...+\alpha_k\lambda_k x_k \\ \lambda_{max} = lim_{k\rightarrow\infty}v_{k+1} / v_k$
• 反幂法
  $A^{-1}的特征值 \lambda_min$
• QR法
  $\begin{cases} A_1 = A \\ A_k = QR \\ A_{k+1} = Q^TA_kQ \\ \end{cases} \\ lim_{k\rightarrow\infty} a_{ii}^{(k)} = \lambda_i, |\lambda_1|\ge|\lambda_2|...$