第一章、概论
模式识别
一般指的是对模式的区分和认识，把对象根据其特征归到若干类别中的适当一类。
一、基本术语（名词解释）
模式：指需要识别且可测量的对象的描述。这些对象与实际的应用有关。
如：人脸识别的模式——每幅人脸图像
模式识别：利用机器（计算机）模仿人脑对现实世界各种事务进行描述、分类、判断和识别的过程
样本（sample）：所研究对象的一个个体。
样本集（sample set）：若干样本的集合。
类与类别（class）：在所有样本上定义的一个子集，处在同一类的样本在我们所关心的某种性质 上是不可区分，即有相同的模式。
特征（features）：指用于表征样本的观测。
已知样本（known samples）：指事先知道类别标号的样本。
未知样本（unknown samples）：指类别标号未知但特征已知的样本。
所谓模式识别的问题，就是用计算的方法根据样本的特征将样本划分到一定的类别中去。
二、解决模式识别问题的两种方法
1.基于知识的模式识别方法
其主要是专家系统为代表的方法，一半归在人工智能的范畴中，其基本的思想是，根据人们已知的（从专家那里收集整理的）关于研究对象的知识，整理出若干描述特征与类别间关系的准则，建立一定的计算机推理系统，对未知样本通过这些知识推理决策其类别。
2.基于数据的模式识别方法 ——基于统计的模式识别
其基本的思想是，收集一定数量的已知样本，用这些样本作为训练集来训练一定的模式识别机器，使之在训练后能够对未知样本进行分类。
//这一函数被叫做 分类器 （在第五章会学到线性分类器）。建立分类器的过程也叫做机器学习。
三、基于数据的机器学习
1.基于数据的机器学习的工作流程：
1）确定样本的特征；
2）收集已知样本；
3）训练模式识别器；
4）对未知样本进行分类。
2.基于数据的机器学习的基本思想：
G表示从对象观测特征的过程，向量 x 表示特征，y表示我们所关心的对象的性质；
S表示决定 x 和 y 之间关系的系统，（如果知道其内部的机理，就可以用基于知识的方法）
用我们一定数量的已知样本进行训练学习机器LM，建立实现从特征向量x判断类别y’的一个数学模型，用来对未知样本计算（预测）其类别。
四、模式识别的研究范畴
对于这两种方法的认识，需要知道
基于数据的模式识别方法，适用于我们已知对象的某些特征与我们所感兴趣的类别性质有关系，但无法确切描述这种关系的情况。
若分类和特征之间的关系可以完全确切地描述出来，采用基于知识的模式识别方法可能更有效
若分类和特征之间的两者的关系完全随机，即不存在规律性的联系，应用模式识别也无法得到有意义的结果。
比如，我看到了一只白色的小动物很喜欢吐着舌头微笑，那我们想知道它的品种是不是我所喜欢的萨摩耶？
那我们会遇到几个问题：
（1）问题本身的不确定性：是哪一品种的萨摩耶？
（2）样本间的异质性：
有的样本中萨摩不吐舌头，有的样本中萨摩毛发不是纯白，而且样本数量越多，异质性越大。
（3）观测数据的不准确性：那个小动物是小狗吗？有可能是其他小猫，小兔子...
在这样的情况下，可以收集一定数量的有关于萨摩耶的局部特征作为数据集，进行训练，得到一个关于萨摩耶的模式识别机器（模型），使它能能够在训练之后对我们的未知样本（一只白色的小狗很喜欢吐着舌头）进行分类，判断他是否是一只萨摩。（例子只是我自己的理解，有错指正=-=）
五、监督学习和非监督学习
通过上面的例子，我们可以引出两种不同的情况的学习——监督学习和非监督学习。
监督模式识别：我们已知要划分的类别，并且能够获得一定数量的类别已知的训练样本，这种情况下建立分类器的问题属于监督学习问题，我们称为监督模式识别。
非监督模式识别：当我们不知道划分的是什么类别，更没有类别已知的样本用作训练，（很多情况下我们甚至不知道有多少类别）。根据样本特征将样本聚成几个类，是属于同一类的样本在一定意义上是相似的，而不同类之间的样本则有较大差异，这种学习过程被称为非监督模式识别（统计中称为聚类，所得到的类别也称为聚类）。
ps：也可以理解监督学习和非监督学习为“有导师学习”和“无导师学习”。
六、监督模式识别的典型过程和一般步骤
1.处理监督模式识别问题的一般步骤:
（1）分析问题:深入研究应用领域的问题,分析是否属于模式识别问题,把所研究的目标表示为一定的类别,分析给定数据或者可以观测的数据中哪些因素可能与分类有关.
（2）原始特征获取:设计实验,得到已知样本,对样本实施观测和预处理,获取可能与样本分类有关的观测向量.
（3）特征提取与选择:为了更好的进行分类,需要算法对特征进行再提取和选择
（4）分类器设计:选择一定的分类器,用已知样本进行分类器训练
（5）分类决策:利用一定的算法对分类器性能进行评价;对未知样本实施同样的观测,预处理和特征提取与选择,用所涉及的分类器进行分类,必要时根据领域知识进行进一步的后处理
2.监督模式识别的典型过程：
七、监督模式识别的典型过程和一般步骤
1.处理非监督模式识别问题的一般步骤:
（1）分析问题:深入研究应用领域的问题,分析研究目标能否通过寻找适当的聚类来达到,如果可能,猜测可能的或希望的类别数目,分析给定数据或者可以观测的数据中哪些因素可能与聚类有关.
（2）原始特征获取:设计实验,得到待分析的样本,对样本实施观测和预处理,获取可能与样本聚类有关的观测向量
（3）特征提取与选择:为了更好的进行聚类,可能需要采用一定的算法对特征进行再次提取与选择
（4）聚类分析:选择一定的非监督模式识别方法,用样本进行聚类分析
（5）结果解释:考察聚类的结果,分析所得聚类与研究目标之间的关系,根据领域知识分析结果的合理性,对聚类的含义给出解释,如果有新样本,把聚类结果用于新样本分类.
2.非监督模式识别的典型过程：
八、监督模式识别与非监督模式识别的区别
主要在于——训练样本
监督模式识别需要训练数据，根据训练样本设计分类 器；
非监督模式识别则不需要训练数据，是根据样本的相 似性来进行分类的。
接下来，学习的顺序是
第14章，通过一些具体的例子，介绍几种常见的模式识别与机器学习软件平台的使用风格。。
（第7章，比较概要但全面地讲述统计学习理论的框架和主要结论，也扼要介绍了机器学习中不适定问题的基本概念、正则化方法的原理和主要代表性方法。同时需要结合课外的内容了解。）
第8章，实际中常用的几种方法：近邻法、决策树、随机森林和集成学习方法，他们共同的特点是没有事先确定的判别函数形式，所以我们称为非参数学习方法
第2章，统计决策方法，介绍在已知样本的概率分布模型的情况下。利用贝叶斯公式进行最优决策的原理和方法，介绍两类错误率和 ROC 曲线 。
第3章，概率密度函数估计的原理和方法：参数估计的最大似然估计、贝叶斯估计方法和代表性的非参数方法。
（第4章，学习隐马尔可夫模型和贝叶斯网络，包括隐马尔可夫模型中的代表算法、贝叶斯网络的基本概念和核心算法，了解概率图模型的概念。）
第5章， 经典的线性学习机器线性分类器：线性回归、罗杰斯特回归、Fisher线性判别、感知器及各种主要衍生的方法。各种方法以两类分类问题为主，也涉及线性回归问题和多类分类问题。
第6章，典型的分线性分类器，其核心是多层感知器人工神经网络和支持向量机。
第9章，特征选择中几种常用的最优和次优方法，包括分枝定界算法、遗传算法等。
第10章，介绍了监督与非监督的特征提取方法和将为方法：主成分分析、KL变换、多维尺度法等经典方法和比较新的非线性降维和可视化方法。
第11章，专门介绍非监督模式识别与机器学习方法，核心是各种聚类算法，包括混合概率密度函数估计方法、经典的C均值（K均值）和分级聚类算法，以及模糊聚类方法、自组织映射神经网络、一致聚类方法等。
第12章，介绍深度学习网络中最有代表性的方法：卷积神经网络（CNN）、循环神经网络（RNN）、长短时记忆模型（LSTM）、自编码器、限制性玻尔兹曼机（RBM）、深度信念网络（DBN）以及变分自编码器（VAE）、生成对抗网络（GAN）等。
第13章专门介绍模式识别系统评价中一些容易被认为显而易见的问题及方法，包括监督模式识别系统和非监督模式识别系统的评价。
上面根据上课老师讲课的顺序记录的。
忘性太大了=-= 现在想着总结一下，上面只是推荐学习顺序，大家也可以按照自己的方向来学习。~~~~~~可能会先总结应付考纲的内容，后面在慢慢补齐*-*。
