本章节以概念介绍为主，计算学习理论为了研究通过“计算”来进行“学习”的理论，即研究机器学习的理论基础，目标是分析学习任务的困难本质，为学习算法提供理论保证，并根据分析结果指导算法的设计。
PAC学习PAC指概率近似正确（Probably Approximately Correct），是计算学习理论最基本的学习理论，是指以比较大的概率学习得到误差满足预定上限的模型。
PAC辨识
在指定的误差范围内，学习算法可以得到一个映射关系满足误差，则称为该算法PAC辨识，数学表达为：
对 0 < ϵ , δ < 1 0<\epsilon,\delta<1 0<ϵ,δ<1，若存在学习算法，使得其映射函数h满足：
P ( E ( h ) ≤ ϵ ) ≥ 1 − δ P(E(h) \le\epsilon) \ge1-\delta P(E(h)≤ϵ)≥1−δ
则，称该学习算法，能从映射空间中中PAC辨识该映射关系（概念类C）
PAC可学习
如果任意分布，存在学习算法对某一映射关系能够PAC辨识，则称对该关系PAC可学习。
PAC学习算法
若学习算法使得映射关系为PAC可学习的，切算法的运行时间也是多项式函数 p o l y ( 1 ϵ , 1 δ , s i z e ( x ) , s i z e ( c ) ) poly(\frac{1}{\epsilon},\frac{1}{\delta},size(x),size(c)) poly(ϵ1,δ1,size(x),size(c))，称映射关系是高效PAC可学习，该算法为PAC学习算法。
样本复杂度
样本数量m，满足算法所需的 m ≥ p o l y ( 1 ϵ , 1 δ , s i z e ( x ) , s i z e ( c ) ) m\ge poly(\frac{1}{\epsilon},\frac{1}{\delta},size(x),size(c)) m≥poly(ϵ1,δ1,size(x),size(c))的最小m，称为学习算法的样本复杂度。
有限假设空间假设空间包含任意目标概念的可能性越大，从中找到某个具体目标概念的难度也越大，如果假设空间有限称为有限假设空间，否则称为无线假设空间。
可分情形
可分情形指目标概念c属于假设空间 H H H，对于PAC可学习的有限假设空间，所需的样本数目为： m ≥ 1 ϵ ( l n ∣ H ∣ + l n 1 δ ) m\ge \frac{1}{\epsilon}(ln|H|+ln\frac{1}{\delta}) m≥ϵ1(ln∣H∣+lnδ1)，随着样本数量m的增加，泛化误差收敛到0，收敛速度为 O ( 1 m ) O(\frac{1}{m}) O(m1)。
不可分情形
相对应情况为目标概念c不属于假设空间H，学习算法无法学习到目标概念c的 ϵ \epsilon ϵ接近，但可以在假设空间中找出最小泛化误差的假设，找出对应假设的 ϵ \epsilon ϵ接近也可以。
VC维假设空间的VC维指，样本能被假设空间标记为所有可能时候，对应的样本数量。对二分类问题来讲，若样本数量为m，则假设空间可以将所有样本标记的结果有 2 m 2^m 2m个。
Rademacher复杂度Rademacher复杂度考虑了一定的数据分布，VC维的泛化误差是分布无关、数据独立的，而基于Rademacher复杂度的泛化误差界是与分布有关的，即其泛化误差界依赖于具体学习问题的数据分布。
稳定性算法稳定性在衡量输入发生变化时，输出是否会发生较大变化。稳定性分析不必考虑驾驶空间中所有可能的假设，只需要根据算法自身的稳定性来讨论输出的泛化误差界。
