文章目录
- 1.科学计算库
- 2.什么是机器学习
- 3.人工智能主要分支
- 1.人工智能、机器学习和深度学习
- 2.主要分支介绍
- 3.人工智能发展必备三要素：
- 3. 机器学习工作流程
- 1.流程总结
- 2.获取到的数据集介绍
- 3.数据基本处理
- 4. 特征工程
- 1.什么是特征工程
- 2. 为什么需要特征工程(Feature Engineering)
- 3.特征工程包含内容
- 5.机器学习
- 1.算法分类
- 6.模型评估
1.科学计算库
- Matplotlib
数据可视化(画图) - numpy
数组计算 - pandas
处理数据集
2.什么是机器学习
机器学习是从数据中自动分析获得模型，并利用模型对未知数据进行预测。
3.人工智能主要分支
1.人工智能、机器学习和深度学习
人工智能和机器学习，深度学习的关系：
- 机器学习是人工智能的一个实现途径
- 深度学习是机器学习的一个方法发展而来
2.主要分支介绍
通讯、感知与行动是现代人工智能的三个关键能力，在这里我们将根据这些能力/应用对这三个技术领域进行介绍：计算机视觉(CV)、自然语言处理(NLP)和机器人。在 NLP 领域中，将覆盖文本挖掘/分类、机器翻译和语音识别。
- 分支一：计算机视觉
- 分支二：语音识别
- 分支三：文本挖掘/分类
- 分支四：机器翻译
- 分支五：机器人
3.人工智能发展必备三要素：
- 数据
- 算法
- 计算力
3. 机器学习工作流程
1.流程总结
1.获取数据
2.数据基本处理
3.特征工程
4.机器学习(模型训练)
5.模型评估
2.获取到的数据集介绍
- 数据简介
在数据集中一般：
- 一行数据我们称为一个样本
- 一列数据我们成为一个特征
- 有些数据有目标值（标签值），有些数据没有目标值（如上表中，电影类型就是这个数据集的目标值）
- 数据类型构成：
- 数据类型一：特征值+目标值（目标值是连续的和离散的）
- 数据类型二：只有特征值，没有目标值
- 数据分割：
- 机器学习一般的数据集会划分为两个部分：
- 训练数据：用于训练，构建模型
- 测试数据：在模型检验时使用，用于评估模型是否有效
- 划分比例：
- 训练集：70% 80% 75%
- 测试集：30% 20% 25%
3.数据基本处理
即对数进行缺失值、去除异常值等处理
4. 特征工程
1.什么是特征工程
特征工程是使用专业背景知识和技巧处理数据，使得特征能在机器学习算法上发挥更好的作用的过程。意义：会直接影响机器学习的效果
2. 为什么需要特征工程(Feature Engineering)
机器学习领域的大神Andrew Ng(吴恩达)老师说“Coming up with features is difficult, time-consuming, requires expert knowledge. “Applied machine learning” is basically feature engineering. ”
注：业界广泛流传：数据和特征决定了机器学习的上限，而模型和算法只是逼近这个上限而已。
3.特征工程包含内容
- 特征提取：将任意数据（如文本或图像）转换为可用于机器学习的数字特征
- 特征预处理：特征预处理：通过一些转换函数将特征数据转换成更加适合算法模型的特征数据过程
- 特征降维：指在某些限定条件下，降低随机变量(特征)个数，得到一组“不相关”主变量的过程
5.机器学习
1.算法分类
- 监督学习：特征值+目标值
根据目标值不同分类：
- 回归问题
- 分类问题
- 无监督学习：只有特征值
- 半监督学习
即训练集同时包含标记样本数据和未标记样本数据 - 强化学习
没有训练数据，在建立模型的时候通过人为设定模型可以操作的规则，不断自我尝试，自我探索。
6.模型评估
