机器学习群机器学习

转载

mob6454cc620c34 2023-09-27 20:25:45

机器学习的介绍和相关概念

1. 定义

机器学习是一门多领域交叉学科，涉及概率论、统计学、逼近论、凸分析、算法复杂度理论等多门学科。专门研究计算机怎样模拟或实现人类的学习行为，以获取新的知识或技能，重新组织已有的知识结构使之不断改善自身的性能 ——百度百科

机器学习(Machine-Learning)是一门让编程计算机从数据中进行学习的一门计算机科学；一个计算机程序在完成任务T之后，获取经验值(结果)E，表现效果为(准确性)P，如果任务T的性能表现P随着E的增加而增加，那么这样的计算机程序即可称为机器学习。
具有自我完善、自我增进、自我适应的特性
使用机器学习的好处：

a、自动化的升级维护
    b、解决算法过于复杂甚至没有一直算法的问题
    c、在机器学习的过程中，协助人类获得对事物的洞见

使用机器学习需要解决的问题：

a、模型问题
        机器学习在形式上可以这样理解：在数据对象中通过统计或推理的方法需找一个接受特定输入的X，然后给出预期输出的Y的功能函数f，即 Y=f(X)
    b、评估问题
        针对已知的输入，函数给出的输出(预期值)和与实际输出(目标值)之间存在一定的误差，因此需要构建一个评估体系，根据误差的大小判断函数的优劣
    c、优化问题
        学习的目的在于改善功能，不断地提高函数的准确性，直到获得满足要求的最优解，这个过程就是机器学习

2. 分类

从学习的方式上可分为：

a、监督学习
        用已知输出评估模型的性能
    b、无监督学习
        在没有一直输出的情况下，紧根据输入信息的相关性进行类别的划分
    c、半监督学习
        现通过无监督学习完成类别的划分，再根据人工标记通过监督学习预测输出
    d、强化学习
        通过对不同决策结果的奖励和惩罚，使机器学习系统在足够长的时间的训练后，越来越倾向于给出预期结果

从学习的过程上可分为：

a、批量学习
        将训练的过程和应用的过程分开，当实际应用场景输出结果不够理想时，重新回到训练阶段进行训练
    b、增量学习
        将训练过程和应用的过程统一在一起，在应用的同时以增量的方式，不断学习新的内容，边训练边预测

从学习使用场景上可分为：

a、基于实例的学习
        根据已有大量输入和输出结果实例进行结果预测 、统计
    b、基于模型的学习
        根据数学模型的输入输出预测输出 数学公式

以上三种不同角度分类的类别之间不存在相关关系，比如监督学习可以是批量学习，也可以是基于模型的学习

3. 机器学习的一般过程

a、数据处理
        数据收集(数据检索、数据挖掘、爬虫)、数据清洗、特征工程(指标，一行为一个样本，一列为一个特征)
    b、机器学习
        选择模型(算法)、训练模型(算法)、评估模型(工具、框架、算法)、测试模型
    c、业务运维
        应用模型、维护模型

4. 机器学习的基本问题

a、回归问题
        根据已知的输入输出寻找某种性能最佳的模型，将未知输出的输入带入模型，的到连续的输出
    b、分类问题
        根据已知的输入输出寻找某种性能最佳的模型，将未知输出的输入带入模型，的到离散的输出
    c、聚类问题
        根据已知输入的相似程度，将其划分为不同的群落
    d、降维问题
        在性能损失尽可能小的情况下，降低数据的复杂度