机器学习工作流程

• 机器学习的定义
• 机器学习的工作流程
• 获取到的数据集的特性

1、什么是机器学习

机器学习是从数据中自动分析获得模型，并利用模型对未知数据进行预测。

2、机器学习工作流程

机器学习工作流程总结

• 1、获取数据
• 2、数据基本处理
• 3、特征工程
• 4、机器学习（模型训练）
• 5、模型评估

• 结果达到要求，上线服务
• 没有达到要求，重新上面步骤

1、获取到的数据集介绍

• 数据类型构成：

• 数据类型一：特征值+目标值（目标值是连续的和离散的）
• 数据类型二：只有特征值，没有目标值

• 数据分割：

• 机器学习一般的数据集会划分为两个部分

• 训练数据：用于训练，构建模型
• 测试数据：在模型检测时使用，用于评估模型是否有效

• 划分比例：

• 训练集：70% 80% 90%
• 测试集：30% 20% 25%
  2、数据基本处理
  即对数据进行缺失值、去除异常值等处理

3、特征工程
3.3.1什么是特征工程
特征工程是使用专业背景知识和技巧处理数据，使得特征能在机器学习算法上发挥更好的作用的过程。
意义：会直接影响机器学习的效果
3.3.2为什么需要特征工程（Feature Engineering）
注：业界广泛流传：数据和特征决定了机器学习的上限，而模型和算法只是逼近这个上限而已。
3.3.3特征工程包含内容
特征提取
特征预处理
特征降维
3.3.4各概念具体解释

• 特征提取

• 将任意数据（如文本或图像）转换为可用于机器学习的数字特征

• 特征预处理

• 通过一些转换函数将特征数据转换成更加适合算法模型的特征数据过程
• 特征降维

• 指在某些限定条件下，降低随机变量（特征）个数，得到一组 “不相关”主变量的过程。
  
  4、机器学习
  选择合适的算法和模型进行训练
  5、模型评估
  对训练好的模型进行评估