机器学习之Rademacher复杂度和VC维

$H$来衡量一个假设集的复杂度。这样做的缺点是，对于具有无限个假设的假设集我们得到了两个不符合直觉的结论：（1）它们的复杂度都是无穷大，但沿轴矩形的学习问题证明具有无限个假设的假设集是PAC可学习的。（2）它们的复杂度都相等，但我们知道，线性假设集的复杂度肯定没有$n$次多项式假设集的复杂度高。因此，我们自然需要寻找新的方法来度量一个假设集的复杂度而不是简单地用假说集合的大小来判断。

  本章重点：

• 使用基于McDiarmid不等式的Rademacher复杂度来度量假设集的复杂度和丰富性。推导基于Rademacher复杂度的泛化边界。但对于某些假设集来说，经验Rademacher复杂度的计算是NP难的。
• 引入增长函数的概念，使其计算假设集的复杂性不依赖于样本的分布，并将增长函数与Rademacher复杂度联系起来。
• 计算假设集的增长函数是困难的，随后引入$VC$维的概念，并将增长函数与$VC$维联系起来，推导基于$VC$维的泛化边界。

1、Rademacher复杂度

$H$表示假设集，$h$就是$H$中的一个假设（从输入空间到输出空间的映射）。对任意损失函数$L:\mathcal{Y}\times \mathcal{Y}→ \mathbb{R}$。对于每个$h : \mathcal{X} → \mathcal{Y}$，我们可以用函数$g$表示从$(x, y)∈\mathcal{X}\times\mathcal{Y}$到$L (h (x), y)$映射。$G$是$g$的集合，用于表示与$H$有关的损失函数族。

Rademacher复杂度通过测量假设集对随机噪声的拟合程度来表征函数族的丰富性。下面将讲述经验Rademacher复杂度和平均Rademacher复杂度的正式定义。

定义1： 经验Rademacher复杂度：

$G$是一族从$Z$映射到$[a,b]$的函数族，$S = (z_1，…z _m)$来自$z$空间中大小为$m$的样本集，其中$z_i\in Z$，则$G$在样本$S$上的经验Rademacher复杂度定义为：

$\widehat{\mathfrak{R}}_S(G)=\mathop{\mathbb{E}}\limits_{\sigma}[\sup_{g\in{G}}\frac{1}{m}\sum_{i=1}^m\sigma_ig(z_i)],\;\;\;\;\;\;\;\;(3.1)$

其中，$\mathbf{σ}=(σ_1,……σ_m)^T$，$σ_i$是取值为$\{−1 ,+ 1\}$独立随机变量，被称为Rademacher变量。

• 样本$S=(z_1,.....z_m)=((x_1,y_1),......(x_m,y_m))$。
• $g(z_i)$用来表示用假设$h$来预测$y_i$所产生的误差，即损失函数。

$\mathbf{g}_ S$表示在样本$S$上的向量：$\mathbf{g}_ S = (g(z_1)，…，g(z _m))^T$。则经验Rademacher复杂性可以改写为：

$\widehat{\mathfrak{R}}_S(G)=\mathop{\mathbb{E}}\limits_{\sigma}[\sup_{g\in{G}}\frac{\sigma\cdot\mathbf{g}_S}{m}].$

$σ·\mathbf{g} _S$度量了$\mathbf{g} _S$（单个函数在样本集上）与随机噪声$σ$向量的相关性。取上确界$\sup_{g\in{G}}\frac{\sigma\cdot\mathbf{g} _S}{m}$表示函数$G$在样本$S$上与噪声$σ$的相关性 。取期望（经验Rademacher复杂度）表示函数族$G$在$S$上与噪声的平均相关性，这也就描述了函数族$G$的丰富度：更丰富、更复杂的函数族$G$可以产生更多的$\mathbf{g}_S$，在平均水平上更好的拟合随机噪声。

定义2：Rademacher复杂度：

$D$是样本$S$的分布。对于任意整数$m≥1$，$G$的Rademacher复杂度是根据分布$D$下$m$个样本的经验Rademacher复杂性的期望：

$\mathfrak{R}_m(G)=\mathop{\mathbb{E}}\limits_{S\sim{D^m}}[\widehat{\mathfrak{R}}_S(G)].\;\;\;\;\;\;\;\;(3.2)$

  平均Rademacher复杂度移除了对特定样本集的依赖，更加平均地度量了一个函数族的复杂程度（但仍与分布有关）。

  在基于Rademacher复杂度推导第一个泛化边界之前，先介绍McDiarmid不等式。

McDiarmid不等式：令$(x_1,...,x_m)∈X_m$为独立随机变量的集合，假设存在$c_1,...,c_m>0$，使得$f:X→R$满足以下条件：
$|f(x_1,...,x_i,...,x_m)−f(x_1,...,x_i ^\prime,...,x_m)|≤c_i,$
对所有的$i\in [1,m]$以及任意的点$x_1,...,x_m,x_i ^\prime\in X$都成立。令$f(S)$ 表示 $f(x_1,...,x_m)$，那么对所有的$\varepsilon>0$，下面的不等式成立：
$Pr[f(S)−E[f(S)]\ge\varepsilon]\le\exp(\frac{−2\varepsilon^2}{\sum_{i=1}^mc_i^2})$
$Pr[f(S)−E[f(S)]\le -\varepsilon]\le\exp(\frac{−2\varepsilon^2}{\sum_{i=1}^mc_i^2})$

定理1：

$G$是一系列从$Z$映射到$[0,1]$的函数族。对任何$\delta > 0$，$G$中的每一个函数$g$，都至少以$1−\delta$概率，下述两个式成立：

$\mathbb{E}[g(z)]\le\frac{1}{m}\sum_{i=1}^mg(z_i)+2\mathfrak{R}_m(G)+\sqrt{\frac{\log\frac{1}{\delta}}{2m}}\;\;\;\;\;\;\;(3.3)\\ \mathbb{E}[g(z)]\le\frac{1}{m}\sum_{i=1}^mg(z_i)+2\widehat\mathfrak{R}_S(G)+3\sqrt{\frac{\log\frac{2}{\delta}}{2m}}\;\;\;\;\;\;\;(3.4)$

证明：对于任意在$Z$空间上的样本集$S = (z_1,…,z_m)$和任意函数$g∈G$，用$\widehat{\mathbb{E}} _S [g]$来表示在$S$上的$g$的经验平均值： $\widehat{\mathbb{E}} _S [g] = \frac{1}{ m }\sum _{i=1}^{m}g(z_i)$。利用McDiarmid不等式，在任意样本$S$上定义函数$\Phi$：
$\Phi(S)=\sup_{g\in G}(\mathbb{E}[g]-\widehat{\mathbb{E}}_S[g]) \;\;\;\;\;\;\; (3.5)$

$S$和$S^\prime$表示只有一个点不同的样本，即$z_m\in S$，$z_m^\prime\in S^\prime$。则有：

$\Phi(S^\prime)-\Phi(S)\le\sup_{g\in{G}}(\widehat{\mathbb{E}}_S[g]-\widehat{\mathbb{E}}_{S^\prime}[g])=\sup_{g\in{G}}\frac{g(z_m)-g(z_m^\prime)}{m}\le\frac{1}{m}.\;\;\;\;\;\;\;(3.6)$

  根据最大值的差一定不超过差的最大值可得：
$\begin{aligned} \Phi(S^\prime)-\Phi(S) &= \sup_{g\in G}(\mathbb{E}[g]-\widehat{\mathbb{E}}_{S^\prime}[g])-\sup_{g\in G}(\mathbb{E}[g]+\widehat\mathbb{E}_{S}[g]) \\ &\le\sup_{g\in G}(\mathbb{E}[g]-\widehat\mathbb{E}_{S^\prime}[g]-\mathbb{E}[g]+\widehat{\mathbb{E}}_{S}[g]) \\ & \le \sup_{g\in G}(\widehat{\mathbb{E}}_{S}[g]-\widehat{\mathbb{E}}_{S^\prime}[g]) \end{aligned}$

  转变为上面的（3.6）式。

$Φ(S ) − Φ(S^\prime) ≤ 1/m$，因此，$|\phi(S)−\phi(S^\prime)| ≤ 1/m$。应用McDiarmid第一个不等式，经变换有如下形式：
$Pr[\Phi(S)−E[\Phi(S)]\ge\varepsilon]\le\exp(\frac{−2\varepsilon^2}{1/m})=\exp(-2\varepsilon^2m)$

令$\delta=\exp(-2\varepsilon^2m)$可得 $\varepsilon=\sqrt{\frac{\log\frac{1}{\delta}}{2m}}$ 对任何 $\delta > 0$，至少以$1 − \delta/2$概率下式成立：

$\Phi(S)\le\mathop{\mathbb{E}}\limits_{S}[\Phi(S)]+\sqrt{\frac{\log{\frac{2}{\delta}}}{2m}}\;\;\;\;\;\;(3.7)$

  接下来，我们对等式右边的期望做如下缩放：

$\begin{aligned} \mathop{\mathbb{E}}\limits_{S}[\Phi(S)]&=\mathop{\mathbb{E}}\limits_{S}\Big[\sup_{g\in{G}}\big(\mathbb{E}[g]-\widehat\mathbb{E}_S[g]\big)\Big]\\ &=\mathop{\mathbb{E}}\limits_{S}\bigg[\sup_{g\in{G}}\mathbb{E}_{S^\prime}\big[\widehat{\mathbb{E}}_{S^\prime}[g]-\widehat\mathbb{E}_S[g]\big]\bigg]\;\;\;\;\;(3.8)\\ &\le\mathop{\mathbb{E}}\limits_{S,S^\prime}\Big[\sup_{g\in{G}}\big(\widehat{\mathbb{E}}_{S^\prime}[g]-\widehat{\mathbb{E}}_{S}[g]\big)\Big]\;\;\;\;\;(3.9)\\ &=\mathop{\mathbb{E}}\limits_{S,S^\prime}\Big[\sup_{g\in{G}}\frac{1}{m}\sum_{1=1}^m\big(g(z_i^\prime)-g(z_i)\big)\Big]\;\;\;\;\;(3.10)\\ &=\mathop{\mathbb{E}}\limits_{\sigma,S,S^\prime}\Big[\sup_{g\in{G}}\frac{1}{m}\sum_{i=1}^m\sigma_i\big(g(z_i^\prime)-g(z_i))\big)\Big]\;\;\;\;\;\;(3.11)\\ &\le\mathop{\mathbb{E}}\limits_{\sigma,S^\prime}\Big[\sup_{g\in{G}}\frac{1}{m}\sum_{i=1}^m\sigma_ig(z_i^\prime)\Big]+\mathop{\mathbb{E}}\limits_{\sigma,S}\Big[\sup_{g\in{G}}\frac{1}{m}\sum_{i=1}^m-\sigma_ig(z_i)\Big]\;\;\;\;\;(3.12)\\ &=2\mathop{\mathbb{E}}\limits_{\sigma,S}\Big[\sup_{g\in{G}}\frac{1}{m}\sum_{i=1}^m\sigma_ig(z_i)\Big]\\&=2\mathfrak{R}_m(G).\;\;\;\;\;(3.13) \end{aligned}$

$S^\prime$中的点是独立同分布采样的，所有$E[g] = E_{S^\prime}[\widehat{E}_{S^\prime}(g)]$成立。不等式（3.9）利用了Jensen不等式和上确界函数的凸性。等式（3.11），引入Rademacher变量$\sigma_is$，

  Jensen不等式简述：$f(\mathbb{E}[x])\le \mathbb{E}[f(x)]$是$\{-1,+1\}$均匀分布的独立随机变量。不会改变（3.10）中的期望。当$\sigma_i=1$时，相应的和保持不变，当$\sigma_i=-1$时，相应的求和就会变号，这与在$S$和$S'$之间交换$z_m$和$z'_m$一样，交换不影响期望值。对于（3.12）由$\sup(U +V ) \le \sup(U)+\sup(V )$可得。（3.13）源于Rademacher复杂度的定义。

  于是则有：

$\begin{aligned} E[g]-\widehat{E}_S[g] &\le \Phi(S) \\ & \le E[\Phi(S)]+\sqrt{\frac{\log{\frac{1}{\delta}}}{2m}} \\ & \le 2\mathfrak{R}_m(G)+\sqrt{\frac{\log{\frac{1}{\delta}}}{2m}} \end{aligned}$
将左边的式子右移可得：
$\begin{aligned} E[g] &\le\widehat{E}_S[g]+2\mathfrak{R}_m(G)+\sqrt{\frac{\log{\frac{1}{\delta}}}{2m}} \\ &= \frac{1}{m}\sum_{i=1}^mg(z_i)+2\mathfrak{R}_m(G)+\sqrt{\frac{\log{\frac{1}{\delta}}}{2m}} \end{aligned}$

  对于第二个不等式的证明：

  应用McDiarmid不等式中的第二个不等式有，

$Pr[\widehat{\mathfrak{R}}_S(G)-\mathfrak{R}_m(G)\le-\varepsilon]\le\exp(-2\varepsilon^2m)$

令$\frac{\delta}{2}=\exp(-2\varepsilon^2m)$可得$\varepsilon=\sqrt{\frac{\log\frac{2}{\delta}}{2m}}$，即至多以$\frac{\delta}{2}$概率保证$\mathfrak{R}_m(G)>\widehat{\mathfrak{R}}_S(G)+\sqrt{\frac{\log\frac{2}{\delta}}{2m}}$成立。将这个式子带入到第一个不等式中即可得到第二个不等式的推导。

引理1：令$H$为取值为$\{-1,+1\}$的函数族，令$G$为与$H$相对应的且损失函数为$0-1$损失的函数族，$G = \{(x,y) → 1 _{h(x)\ne y} : h \in H\}$，对于任何在空间$\mathcal{X}\times\{-1,+1\}$上的样本集$S=((x_1,y_1),...,(x_m,y_m))$，将$S$在$\mathcal{X}$上的投影记做$S_\mathcal{X}=(x_1,...,x_m)$，那么，下列关于$H$与$G$的经验Rademacher复杂度的不等式成立：

$\widehat{\mathfrak{R}}_S(G)=\frac{1}{2}\widehat{\mathfrak{R}}_{S_\mathcal{X}}(H)$

证明： 对于任何一个样本$S=((x_1,y_1),...,(x_m,y_m))\in\mathcal{X}\times\{−1,+1\}$，经验Rademacher复杂度可被重写为：

$\begin{aligned} \widehat{\mathfrak{R}}_S(G)&=\mathop{\mathbb{E}}\limits_{\sigma}\big[\sup_{h\in{\mathcal{H}}}\frac{1}{m}\sum_{i=1}^m\sigma_i\mathbf{1}_{h(x_i)\ne y_i}\big]\\ &=\mathop{\mathbb{E}}\limits_{\sigma}\big[\sup_{h\in{\mathcal{H}}}\frac{1}{m}\sum_{i=1}^m\sigma_i\frac{1-y_ih(x_i)}{2}\big]\\ &=\frac{1}{2}\mathop{\mathbb{E}}\limits_{\sigma}\big[\sup_{h\in{\mathcal{H}}}\frac{1}{m}\sum_{i=1}^m-\sigma_iy_ih(x_i)\big]\\ &=\frac{1}{2}\mathop{\mathbb{E}}\limits_{\sigma}\big[\sup_{h\in{\mathcal{H}}}\frac{1}{m}\sum_{i=1}^m\sigma_ih(x_i)\big]\\ &=\frac{1}{2}\widehat{\mathfrak{R}}_{S_\chi}(\mathcal{H}). \end{aligned}$

$\mathfrak{ R}_m (G) =\frac{1}{2}\mathfrak{R}_ m (H)$，根据假设集$H$的复杂性，这些经验Rademacher复杂度和平均Rademacher复杂度之间的联系可以用来推导二元分类的泛化界限。

$H$的经验Rademacher复杂度与0-1损失下与 $H$相关的损失函数族$G$的经验Rademacher复杂度联系在了一起。

定理2：二分类的Rademacher复杂度边界：
  令$H$为取值为$\{-1,+1\}$的函数族，$D$是输入空间$\mathcal{X}$的分布。对任意$\delta>0$，在分布$D$的样本集$S$上，至少$1-\delta$概率，对任意$h\in H$以下两个式子成立：

$R(h)\le\widehat{R}_S(h)+\mathfrak{R}_m(\mathcal{H})+\sqrt{\frac{\log{\frac{1}{\delta}}}{2m}}\\R(h)\le\widehat{R}_S(h)+\widehat\mathfrak{R}_S(\mathcal{H})+3\sqrt{\frac{\log{\frac{2}{\delta}}}{2m}}$

对于第二个式子，是在特定样本集$S$上的函数，只要计算出$\widehat{\mathfrak{R}}_S(H)$，就可以计算出$R(H)$的上界。$\widehat{\mathfrak{R}}_S(H)$的计算等价于经验风险最小化问题：

$\widehat{\mathfrak{R}}_S(H)=\mathop{\mathbb E}\limits_{\sigma}\big[\sup_{h\in{\mathcal{H}}}\frac{1}{m}\sum_{i=1}^m-\sigma_ih(x_i)\big]=-\mathop{\mathbb E}\limits_{\sigma}\big[\mathop{\text{inf}}\limits_{h\in{\mathcal{H}}}\frac{1}{m}\sum_{i=1}^m\sigma_ih(x_i)\big]$

对于某些假设集计算起来是困难的。所以有时计算$\widehat{\mathfrak{R}}_S(H)$是困难的。

2、增长函数（Growth Function）

  这一节，经验Rademacher复杂度将被增长函数所限制。

定义3：增长函数

$H$的增长函数$\Pi_H:\mathbb{N}\rightarrow\mathbb{N}$被定义为：

$\forall{m}\in\mathbb{N},\Pi_{\mathcal{H}}(m)=\max_{\{x_1,\cdots,x_m\}\subseteq{X}}\Big|\big\{\big(h(x_1),\cdots,h(x_m)\big):h\in{\mathcal{H}}\big\}\Big|.$

$H$对样本集$S$进行标记（对分（dichotomy）），增长函数的本质就是假设集$H$中能够将样本集$S$的所有标记（对分或划分）可能结果的最大值的那个假设函数，也就是寻找能够将样本集划分得最彻底的假设函数。区别于Rademacher复杂度，这种度量假设集丰富度的方法不依赖于样本的分布。

$m$个样本，如果一个假设$h_1$的增长函数值大于$h_2$的，说明$h_1$的拟合能力更强，$h_2$比较差，$h_2$有一些对分无法实现。

  例如二分类情况，假设假设集是所有直线，

• $m=1$，对分2种情况：$\{+1\},\{-1\}$。
• $m=2$，对分4种情况：$\{+1,+1\},\{+1,-1\},\{-1,+1\},\{-1,-1\}$。
• $m=3$，对分为6种或8种情况：（3点共线无法分开）。但根据增长函数，$\Pi_\mathcal H(3)=8$，增长函数不依赖于分布，只和样本数量有关。

  下面使用Massart引理将增长函数和Rademacher复杂度联系起来。

  首先介绍Hoeffding引理：

Hoeffding引理：$a \le X \le b$是任意随机变量且$E[X]=0$，对任意$t>0$，以下不等式成立：

$E[e^{tX}]\le e^{\frac{t^2(b-a)^2}{8}}$

Massart引理：令$\mathcal A\subseteq \mathbb{R}^m$是一个有限的集合，记$r=\max _{\mathbf{x}\in\mathcal A}||\mathbf{x}||_2$，那么以下不等式成立：

$\mathop{\mathbb{E}}\limits_{\sigma}\Big[\frac{1}{m}\sup_{x\in{\mathcal{A}}}\sum_{i=1}^m\sigma_ix_i\Big]\le\frac{r\sqrt{2\log{|\mathcal{A}|}}}{m}$

其中，$σ_i$为取值为$\{+1,−1\}$的独立均匀随机变量，$x_1,...,x_m$ 为向量$\mathbf{x}$的各个成分。

证明：对任意$t>0$，使用Jensen不等式可得：

$\begin{aligned}\exp\Big(t\mathop{\mathbb E}\limits_{S}\big[\sup_{x\in{\mathcal A}}\sum_{i=1}^m\sigma_ix_i\big]\Big)&\le\mathop{\mathbb E}\limits_{\sigma}\Big[\exp \big[t\sup_{x\in{\mathcal A}}\sum_{i=1}^m\sigma_ix_i\big]\Big]\\&=\mathop{\mathbb E}\limits_{\sigma}\Big[\sup_{x\in{\mathcal A}}\exp\big[t\sum_{i=1}^m\sigma_ix_i\big]\Big]\\&\le\sum_{x\in{\mathcal A}}\mathop{\mathbb E}\limits_{\sigma}\Big[\exp\big[t\sum_{i=1}^m\sigma_ix_i\big]\Big].\end{aligned}$

再根据$\sigma_i$的独立性，应用Hoeffding引理可得：

$\begin{aligned} \exp\Big(t\mathop{\mathbb E}\limits_{S}\big[\sup_{x\in{\mathcal A}}\sum_{i=1}^m\sigma_ix_i\big]\Big)&\le\sum_{x\in{\mathcal{A}}}\Pi_{i=1}^m\mathop{\mathbb E}\limits_{\sigma_i}(\exp{[t\sigma_ix_i]})\\ &\le\sum_{x\in{\mathcal{A}}}\Pi_{i=1}^m\exp\Big[\frac{t^2(2x_i)^2}{8}\Big]\\ &=\sum_{x\in{\mathcal A}}\exp\Big[\frac{t^2}{2}\sum_{i=1}^mx_i^2\Big]\\ &\le\sum_{x\in{\mathcal A}}\exp\Big[\frac{t^2r^2}{2}\Big]\\ &=|\mathcal A|e^{\frac{t^2R^2}{2}}. \end{aligned}$

等式两边取对数并除以$t$：

$\mathop{\mathbb E}\limits_{\sigma}\Big[\sup_{x\in{\mathcal A}}\sum_{i=1}^m\sigma_ix_i\Big]\le\frac{\log{|\mathcal A|}}{t}+\frac{tr^2}{2}.$

如果选择$t=\frac{\sqrt{2\log{|\mathcal A|}}}{r}$，最小化上界可得：

$\mathop{\mathbb E}\limits_{\sigma}\Big[\sup_{x\in{\mathcal A}}\sum_{i=1}^m\sigma_ix_i\Big]\le r\sqrt{2\log{|\mathcal A|}}$

两边同时除以$m$，证明完毕。

  使用上述证明结果，我们就能够根据增长函数来约束Rademacher复杂度。

推论1：$G$是取值为$\{-1,+1\}$一族函数。下述不等式成立：

$\mathfrak{R}_m(G)\le\sqrt{\frac{2\log{\Pi_G(m)}}{m}}$

证明： 对一个固定样本$S=(x_1,...,x_m)$，定义$G_{|S}$为：

$G_{|S}=\{(g(x_1),...,g(x_m))^T:g\in G\}$

由于$g\in{G}$取值$\{-1,+1\}$，所以$\lVert{g}\rVert_2\le\sqrt{m},\forall{g}\in{G}$，使用Massart引理可得：

$\mathfrak{R}_m(G)=\mathop{\mathbb{E}}\limits_{S}\Big[\mathop{\mathbb{E}}\limits_{\sigma}\big[\sup_{u\in{G_{|S}}}\frac{1}{m}\sum_{i=1}^m\sigma_iu_i\big]\Big]\le\mathop{\mathbb{E}}\limits_{S}\Big[\frac{\sqrt{m}\sqrt{2\log{|G_{|S}|}}}{m}\Big]$

根据定义，$|G_{|S}|\le\Pi_{G}(m)$，所以：

$\mathfrak{R}_m(G)\le\mathop{\mathbb E}\limits_{S}\Big[\frac{\sqrt{m}\sqrt{2\log{\Pi_G(m)}}}{m}\Big]=\sqrt{\frac{2\log{\Pi_G(m)}}{m}}$

推论2：增长函数的泛化边界：$H$是取值$\{-1,+1\}$的一族函数。对任意$\delta>0$，至少$1-\delta$概率，对任意$h\in{H}$，

$\mathfrak{R}(h)\le\widehat{\mathfrak{R}}(h)+\sqrt{\frac{2\log{\Pi_{\mathcal{H}}(m)}}{m}}+\sqrt{\frac{\log{\frac{1}{\delta}}}{2m}}$

此外，增长函数也可以不用首先通过Rademacher复杂度来界定，即：

$\Pr\Big[\big|R(h)-\widehat{R}(h)\big|>\epsilon\Big]\le4\Pi_\mathcal{H}(2m)\exp({-\frac{m\epsilon^2}{8}}),$

  计算增长函数有时候是困难的，下面介绍易于计算的另外一种度量假设集复杂度的方法。

3、VC维（Vapnik-Chervonenkis dimension）

  在介绍VC维时，先了解两个概念，一个是前面在介绍增长函数时已经讲过的“对分（二分）”(dichotomy)，还有一个是打散（shattering）。

$S$和一个假设$h$，用$h$对$S$中的点进行分类称为对分。对于一个假设集，可以产生多种不同的对分，这些对分构成了假设集$H$在样本$S$上的对分集合$\Pi_{H}(S)$。

$S$可以被假设集$H$“打散”当且仅当用这个假设集中的假设可以实现对样本$S$的所有可能的“对分”，即$|\Pi_{H}(S)|=2^m$。

定义4：VC-维： 假设集$H$的VC-维是能够被$H$打散的最大样本集的大小：

$VCdim(\mathcal{H})=\max\{m:\Pi_\mathcal{H}(m)=2^m\}.$

如果$VCdim(H)=d$，说明：

• 存在一个样本集大小是$d$的样本集能够被假设集$H$打散（并不是说所有样本大小为$d$的样本都能够被打散）。
• 不存在一个样本大小为$d+1$的样本能够被$H$打散（即所有样本大小为$d+1$的样本都不能被$H$打散）。

推论：$H$是假设集并且$VCdim(H)=d$，对所有$m\ge{d}$，

$\Pi_{\mathcal{H}}(m)\le\big(\frac{em}{d}\big)^d=O(m^d).$

推论：VC维的泛化边界：$H$是一族取值为$\{-1,+1\}$的函数族，VC维是$d$，对所有$\delta>0$，至少以$1-\delta$的概率，对于所有的$h\in{\mathcal H}$：

$R(h)\le\widehat{R}_S(h)+\sqrt{\frac{2d\log{\frac{em}{d}}}{m}}+\sqrt{\frac{\log\frac{1}{\delta}{}}{2m}}$

也可以表示为：

$R(h)\le\widehat{R}_S(h)+O\Bigg(\sqrt{\frac{\log(m/d)}{m/d}}\Bigg),$

则综合上面的推导，可以得到$VC$维的高概率边界为：

$R(h)\le\widehat{R}_S(H)+\sqrt{\frac{8d\log{\frac{2em}{d}}+8\log{\frac{4}{\delta}}}{m}},$

对数因子在这些界限中只起很小的作用。实际上，可以使用更精细的分析来消除这个因素。

$VC$维的概念暂时写这么多，下篇更新《机器学习之支持向量机（SVM）》，to be continued…