机器学习基本概念1

• • 1.1引言
    
    • 机器学习所研究的主要内容
      
      • 关于在计算机上从数据中产生“模型”（学习器）的算法，即“学习算法”
        
    • 机器学习是研究关于“学习算法”的学问
      
  • 1.2基本术语
    
    • 学得模型前
      
      • 数据集(data set)
        
        • 一组记录的集合
          
      • 示例(instance)/样本(sample)
        
        • 数据集中每条关于一个事件或对象的描述的记录
          
      • 属性(attribute)/特征(feature)
        
        • 反映事件或对象在某方面的表现和性质的事项。例如：西瓜的色泽
          
      • 属性值(attribute value)
        
        • 属性的取值称为属性值。例如：西瓜的色泽=‘乌黑’
          
      • 属性空间(attribute space)/样本空间(sample space)/输入空间
        
        • 属性张成的空间。例如：西瓜的色泽、根蒂、敲声张成的三维空间，每个西瓜都可以在该三维空间找到自己的位置
          
      • 坐标向量/特征向量(feature vector)
        
        • 在属性空间里面，每个点对应一个坐标向量，因此每一个示例都称为一个坐标向量
          
      • 维数
        
        • 每个示例可以由多个属性描述这个示例，属性的数目一般用d表示，则d称为样本的“维数”
          
    • 学得模型中
      
      • 学习(learning)/训练(training)
        
        • 从数据中学得模型的过程
          
      • 训练数据(training date)
        
        • 训练过程中使用的数据
          
      • 训练样本(training sample)
        
        • 训练数据中的每个样本
          
      • 训练集(training set)
        
        • 训练样本的集合
          
      • 标记(label)
        
        • 关于示例结果的信息
          
      • 样例(example)
        
        • 拥有标记信息的示例
          
      • 标记空间(label space)/输出空间
        
        • 所有标记的集合，不是样例的集合
          
      • "二分类"任务，通常其中一个类为正类(positive class)，另一个类为反类(negative class);
        
      • 涉及多个类别时，则称为多分类任务
        
    • 学得模型后
      
      • 测试(testing)
        
        • 学得模型后，使用其进行预测的过程。注意和学习/训练分开，被测试的样本称为“测试样本”
          
      • 回归
        
        • 预测的值是连续值。例如：西瓜的成熟度，0.95、0.37等等
          
      • 分类
        
        • 预测的值是离散值。例如：只有好瓜坏瓜（不是连续的值）
          
      • 聚类(clustering)
        
        • 将训练集中的西瓜分为若干组，每组称为一个簇
          
      • 学习任务
        
        • 我们可以根据训练数据是否拥有标记信息来分为监督学习(supervised learning)和无监督学习(unsupervised learning)
          
        • 分类和回归常用于监督学习，聚类常用于无监督学习
          
      • 泛化
        
        • 学得模型适用于新样本的能力
          
  • 1.3假设空间
    
    • 归纳
      
      • 从特殊到一般的泛化过程，即从具体的事实归结除一般性规律
        
    • 演绎
      
      • 从一般到特殊的特化过程，即从基础原理推演出具体状况
        
  • 1.4归纳偏好
    
    • 尽可能特殊
      
      • 意义就是适用的情形尽可能少
        
    • 尽可能一般
      
      • 意义就是适用的情形尽可能多
        
    • 归纳偏好/偏好
      
      • 机器学习算法在学习过程中国对某种类型假设的偏好
        
      • 任何一个有效的机器学习算法必有归纳偏好
        
    • 奥卡姆剃刀
      
      • 是一般性的原则，用来引导算法确立“正确的”偏好
        
      • 一种常用的、自然科学研究中最基本的原则，即“若有多个假设与观测一样，则选最简单的那个”
        
    • 在具体问题现实问题中，算法的归纳偏好是否与问题本身匹配，大多数时候直接决定了算法是否取得较好的性能
      
  •