强化学习迭代的收敛性 迭代 收敛

不动点迭代以及其收敛性

• 对于迭代的理解
• 不动点迭代
• 迭代的收敛性

• 区间收敛
• 局部收敛

对于迭代的理解

  所谓迭代就是反复使用执行某一个过程，并且用本次执行该过程的结果作为下一次执行的起点，不断推进，直到得到满足要求的结果。
  在使用计算机解非线性方程，尤其三次及以上的非线性方程（因为二次方程的求根公式很简单，可以轻易得到根）时，如果利用求根公式的话，求根公式本身只是完成了降次，还需要进行消元才能得出结果。而且从一元六次方程开始，就没有求根公式了。而迭代法的出现，近乎完美地解决了这个问题，首先，迭代法是简单方法的不断重复，这很符合计算机的底层逻辑。其次，迭代公式如果是收敛的，那么理论上可以无限逼近根，也就是可以获得任意精度的根的近似值，这能很好的解决实际问题。

不动点迭代

  不动点迭代法又称迭代法或简单迭代法，是一种逐次逼近的方法，它是用某个固定公式反复矫正根的近似值，使之逐步精确，最后得到满足精度要求的结果。
  

迭代的收敛性

区间收敛

区间收敛定理：设函数 $\varphi(x)$ 在区间 $[a,b]$ 内具有连续的一阶导数，而且该函数 $\varphi(x)$ 满足以下两个条件：1. 映内；2.一阶导数的上界存在且在 [0,1] 内，那么方程 $x=\varphi(x)$ 在区间[ a, b ] 上的解存在且唯一，对任意的 $x_0 \in[a,b]$，迭代格式对应的迭代过程均收敛于根。
区间收敛定理是充分条件而不是必要条件。
映内：如果迭代格式 $\varphi(x)$

局部收敛

设 $\varphi(x)$ 在 $x=\varphi(x)$ 的根 $x^*$的领域内有连续的一阶导数，而且满足一个条件：$|\varphi^`(x)| < 1$，那么对任意的 $x_0 \in$该领域，迭代格式对应的迭代过程均收敛于根 $x^*$。