%matplotlib inline
import numpy as np
import matplotlib.pyplot as plt
from scipy import stats
import seaborn as sns; sns.set()from sklearn.datasets.samples_generator import make_blobs
X,y = make_blobs(n_samples=50, centers=2, random_state=0, cluster_std=0.60)
plt.scatter(X[:,0], X[:,1], c=y, s=50, cmap='autumn')
对于上面两类线性可分的数据。线性判别分类器尝试画一条将数据分成两部分的直线，这样就构成了一个分类模型。对于上图的二维数据来说，这个任务其实可以手动完成。但是我们马上发现一个问题：在这两种类型之间，有不止一条直线可以将它们完美分割
xfit = np.linspace(-1, 3.5)
plt.scatter(X[:,0], X[:,1], c=y, s=50, cmap='autumn')
plt.plot([0.6], [2.1], 'x', color='red', markeredgewidth=2, markersize=10)
for m, b in [(1, 0.65), (0.5, 1.6), (-0.2, 2.9)]:
plt.plot(xfit, m*xfit + b, '-k')
plt.xlim(-1, 3.5)
虽然这三个不同的分割器(三条直线)都能完美地判别这些样本，但是选择不同的分割线，可能会让新 的数据点（例如：图中的“X”点）分配到不同的标签。
在众多“完美”的分割线中，如何才能找到最好的一条呢？或者说到底哪一条分割线才是最好的呢？
支持向量机： 边界最大化
对于上面的三条分割线，我们可以使用它们到最近样本点的边界的宽度来衡量它们之间的好坏程度。
在支持向量机中，选择边界最大（即离最近的样本点最远）的那条线是模型的最优解。
支持向量机其实就是一个边界最大化评估器
xfit = np.linspace(-1, 3.5)
plt.scatter(X[:,0], X[:,1], c=y, s=50, cmap='autumn')
plt.plot([0.6], [2.1], 'x', color='red', markeredgewidth=2, markersize=10)
for m, b, d in [(1, 0.65, 0.33), (0.5, 1.6, 0.55), (-0.2, 2.9, 0.2)]:
yfit = m * xfit + b
plt.plot(xfit, yfit, '-k')
plt.fill_between(xfit, yfit - d, yfit + d, edgecolor='none', color='#AAAAAA', alpha=0.4)
plt.xlim(-1, 3.5)
如上图所示，就三面三条分割线而言，中间一条的边界（宽度d）最大，是最好的。
1. 拟合支持向量机
用 Scikit-Learn 的支持向量机分类器在数据上训练一个 SVM 模型。这里用一个线性核函数，并将参数 C 设置为一个很大的数(这个参数我们在后面会介绍)
from sklearn.svm import SVC
model = SVC(kernel='linear', C=1E10)
model.fit(X, y)
为了实现更好的可视化分类效果，创建一个辅助函数画出 SVM 的决策边界
def plot_svc_decision_function(model, ax=None, plot_support=True):
if ax is None:
ax = plt.gca()
xlim = ax.get_xlim()
ylim = ax.get_ylim()
#创建评估模型的网格
x = np.linspace(xlim[0], xlim[1], 30)
y = np.linspace(ylim[0], ylim[1], 30)
Y, X = np.meshgrid(y ,x)
xy = np.vstack([X.ravel(), Y.ravel()]).T # np.vstack()垂直方向堆叠
P = model.decision_function(xy).reshape(X.shape)
#画出决策边界和边界
ax.contour(X, Y, P, colors='k',
levels=[-1, 0, 1], alpha=0.5,
linestyles=['--','-','--'])
#画支持向量
if plot_support:
ax.scatter(model.support_vectors_[:,0], model.support_vectors_[:,1], s=50, linewidth=1, facecolors='black')
ax.set_xlim(xlim)
ax.set_ylim(ylim)plt.scatter(X[:,0], X[:,1], c=y, s=50, cmap='autumn')
plot_svc_decision_function(model)
这就是两类数据间隔最大的分割线。你会发现有一些点正好就在边界线上，在图中用黑圆圈表示。
这些点是拟合的关键支持点，被称为支持向量，支持向量机算法也因此得名。
在 Scikit-Learn 里面，支持向量的坐标存放在分类器的 supportvectors 属性中：
model.support_vectors_
分类器能够成功拟合的关键因素，就是这些支持向量的位置——任何在正确分类一侧远离边界线的点都不会影响拟合结果！
从技术角度解释的话，是因为这些点不会对拟合模型的损失函数产生任何影响，所以只要它们没有跨越边界线，它们的位置和数量就都无关紧要。
2. 超越线性边界： 核函数SVM模型
SVM 的强大之处不仅仅体现在可以对线性可分的数据找到一条最优的决策边界。
将 SVM 模型与核函数组合使用，功能会非常强大，可以对线性不可分的数据进行处理。
这里的核函数，就像线性回归中的基函数一样，将数据投影到高维空间，从而使线性分割器可以派上用场。
在 SVM 模型中，我们可以沿用同样的思路。
(1)为了应用核函数，引入一些非线性可分的数据
from sklearn.datasets.samples_generator import make_circles
X, y = make_circles(100, factor=0.1, noise=0.1)
clf = SVC(kernel='linear').fit(X, y)
plt.scatter(X[:,0], X[:,1], c=y, s=50, cmap='autumn')
plot_svc_decision_function(clf, plot_support=False)
使用线性分类器分割数据，结果十分的糟糕。
如同基函数回归一样，基函数回归将数据投影到多项式和高斯基函数定义的高维空间中，从而实现用线性分类器拟合非线性关系。
支持向量机的核函数的理念也是一样的：
给数据增加新的维度，将数据投影到高维空间中，从而使得数据变成线性可分状态。
例如，对于上述数据，一种简单的投影方法就是计算一个以数据圆圈（middle clump）为中心的径向基函数：r = np.exp(-(X ** 2).sum(1))
增加新的维度r,在r上数据是可分的（例如r=0.7），而r是关于X的函数，因此在低纬空间，我们就找到了一个有关X的（非线性）决策边界。
r = np.exp(-(X ** 2).sum(1))2）通过三维图来可视化新增的维度
from mpl_toolkits import mplot3d
from ipywidgets import interact, fixed
def plot_3D(elev=30, azim=30, X=X, y=y):
ax = plt.subplot(projection='3d')
ax.scatter3D(X[:,0], X[:,1], r, c=y, s=50, cmap='autumn')
ax.view_init(elev=elev, azim=azim)
ax.set_xlabel('x1')
ax.set_ylabel('x2')
ax.set_zlabel('r')
interact(plot_3D, elev=(-90,90), azip=(-180,180), X=fixed(X), y=fixed(y))
(3)径向基函数SVM
在 Scikit-Learn 里面，我们可以应用核函数化的 SVM 模型将线性核转变为 RBF（径向基函 数）核，设置 kernel 模型超参数即可
clf = SVC(kernel='rbf', C=1E6)
clf.fit(X, y)
plt.scatter(X[:,0], X[:,1], c=y, s=50, cmap='autumn')
plot_svc_decision_function(clf)
(4)核函数的选择
对于不同的核函数，可以将数据映射到不同的高维空间中，只有找到合适的核函数，才能使得分类器可以找到一条干净的，可分割的结果。
选择核函数往往是比较困难的。
(5)SVM优化： 软化边界
到目前为止，我们介绍的模型都是在处理非常干净的数据集，里面都有非常完美的决策
边界。即，两个决策边界内部是不存在样布数据点的，数据都在边界上（支持向量）或边界外。
但如果你的数据有一些重叠该怎么办呢？例如，有如下所示一些数据
X, y = make_blobs(n_samples=100, centers=2, random_state=0, cluster_std=1.2)
plt.scatter(X[:,0], X[:,1], c=y, s=50, cmap='autumn')
为了解决这个问题， SVM 实现了一些修正因子来“软化”边界。为了取得更好的拟合效 果，它允许一些点位于边界线之内。边界线的硬度可以通过超参数进行控制，就是之前代码中的 C。
C代表了边界的强硬程度，如果 C 很大，边界就会很硬，数据点便不能在边界内“生存”；如果 C 比较小，边界线比 较软，有一些数据点就可以穿越边界线。
对于线性核函数，不同参数 C 通过软化边界线，对拟合效果产生的影响：
X, y = make_blobs(n_samples=100, centers=2,
random_state=0, cluster_std=0.8)
fig, ax = plt.subplots(1, 2, figsize=(16, 6))
fig.subplots_adjust(left=0.0625, right=0.95, wspace=0.1)
for axi, C in zip(ax, [10.0, 0.1]):
model = SVC(kernel='linear', C=C).fit(X, y)
axi.scatter(X[:,0], X[:,1], c=y, s=50, cmap='autumn')
plot_svc_decision_function(model, axi)
axi.set_title('C = {0:.1f}'.format(C), size=14)
参数 C 的最优值视数据集的具体情况而定，通过交叉检验或者类似的程序进行计算
人脸识别实战
人脸识别案例来演示支持向量机的实战过程，这里用 Wild 数据集中带标记的人脸 图像，里面包含了数千张公开的人脸照片。
from sklearn.datasets import fetch_lfw_people
faces = fetch_lfw_people(min_faces_per_person=60)
print(faces.target_names)
print(faces.images.shape)
fig, ax = plt.subplots(3, 5)
for i, axi in enumerate(ax.flat):
axi.imshow(faces.images[i], cmap='bone')
axi.set(xticks=[], yticks=[], xlabel=faces.target_names[faces.target[i]])
每个图像包含 [62×47]、接近 3000 像素。我们将图片进行预处理，使用主成分分析来提取 150 个基本元素，然后将其提供给支持向量机分类器。
可以将这个预处理器和分类器打包成管道：
from sklearn.svm import SVC
from sklearn.decomposition import RandomizedPCA
from sklearn.pipeline import make_pipeline
pca = RandomizedPCA(n_components=150, whiten=True, random_state=42)
svc = SVC(kernel='rbf', class_weight='balanced')
model = make_pipeline(pca, svc)将数据集分解成训练集和测试集进行交叉检验：
from sklearn.cross_validation import train_test_split
Xtrain, Xtest, ytrain, ytest = train_test_split(faces.data, faces.target, random_state=42)用网格搜索交叉检验来寻找最优参数组合。通过不断调整参数 C（控制边界线的硬 度）和参数 gamma（控制径向基函数核的大小），确定最优模型：
from sklearn.grid_search import GridSearchCV
param_grid ={'svc__C':[1, 5, 10, 50], 'svc__gamma':[0.0001, 0.0005, 0.001, 0.005]}
grid = GridSearchCV(model, param_grid)
%time grid.fit(Xtrain, ytrain)
print(grid.best_params_)
最优参数最终落在了网格的中间位置。
如果它们落在了边缘位置，我们可能就需要扩展网格搜索范围，确保最优参数可以被搜索到。
对测试集的数据进行预测:
model = grid.best_estimator_
yfit = model.predict(Xtest)将一些测试图片与预测图片进行对比
fig, ax = plt.subplots(4, 6)
for i, axi in enumerate(ax.flat):
axi.imshow(Xtest[i].reshape(62,47), cmap='bone')
axi.set(xticks=[], yticks=[])
axi.set_ylabel(faces.target_names[yfit[i]].split()[-1], color='black' if yfit[i] == ytest[i] else 'red')
fig.suptitle('Predicted Names; Incorrect Labels in Red', size=14) 我们可以打印分类效果报告，它会列举每个标签的统计结果，从而对评估器的性能有更全面的认识：
from sklearn.metrics import classification_report
print(classification_report(ytest, yfit, target_names = faces.target_names))
标签的混淆矩阵:
from sklearn.metrics import confusion_matrix
mat = confusion_matrix(ytest, yfit)
sns.heatmap(mat.T, square=True, annot=True, fmt='d', cbar=False, xticklabels=faces.target_names, yticklabels=faces.target_names)
plt.xlabel('true label')
plt.ylabel('predicted label')
支持向量机总结
支持向量机是一种强大的分类方法，主要有四点理由。 • 模型依赖的支持向量比较少，说明它们都是非常精致的模型，消耗内存少。 • 一旦模型训练完成，预测阶段的速度非常快。 • 由于模型只受边界线附近的点的影响，因此它们对于高维数据的学习效果非常好——即使训练比样本维度还高的数据也没有问题，而这是其他算法难以企及的。 • 与核函数方法的配合极具通用性，能够适用不同类型的数据。 但是， SVM 模型也有一些缺点。 • 随着样本量 N 的不断增加，最差的训练时间复杂度会达到 [N3]；经过高效处理后，也 只能达到 [N2]。因此，大样本学习的计算成本会非常高。 • 训练效果非常依赖于边界软化参数 C 的选择是否合理。这需要通过交叉检验自行搜索； 当数据集较大时，计算量也非常大。 • 预测结果不能直接进行概率解释。这一点可以通过内部交叉检验进行评估（具体请参见 SVC 的 probability 参数的定义），但是评估过程的计算量也很大。
由于这些限制条件的存在，我通常只会在其他简单、快速、调优难度小的方法不能满足需 求时，才会选择支持向量机。但是，如果你的计算资源足以支撑 SVM 对数据集的训练和 交叉检验，那么用它一定能获得极好的效果。
