机器学习十讲--第六讲-降维 原创 MoooJL 2021-07-20 09:21:00 博主文章分类:机器学习 ©著作权 文章标签 机器学习 文章分类 机器学习 人工智能 ©著作权归作者所有:来自51CTO博客作者MoooJL的原创作品,请联系作者获取转载授权,否则将追究法律责任 赞 收藏 评论 分享 举报 上一篇:机器学习十讲--第七讲-最优化 下一篇:机器学习十讲--第五讲-聚类 提问和评论都可以,用心的回复会被更多人看到 评论 发布评论 全部评论 () 最热 最新 相关文章 Java学习第六天笔记 学习目标:掌握Java中的面向对象编程概念。学习并实践Java中的类和对象。理解访问控制修饰符(private, public, protected, 默认)的用法。学习Java中的构造方法。学习内容:1. 面向对象编程概念复习了面向对象编程(OOP)的基本概念,包括类(Class)、对象(Object)、封装(Encapsulation)、继承(Inheritance)和多态(Polymorph 构造方法 Java 修饰符 C语言学习第六天 一、static 关键字三、宏的定义 static关键字 static变量 全局函数 Linux常用命令精讲 1.Linux命令概述shell程序b.shell是Linux中用户与内核之间的翻译官,当用户登录Linux时,Linux会自动加载一个shell程序,在Linux中shell程序对应的文件在/bin/bash2.Linux命令的分类内部命令:是集成于Shell解释器程序(如Bash)内部的一些特殊指令,也称为内建(Built-in)指令。内部命令属于shell的一部分,所以没有单独对应的系统文件 常用命令 《机器学习十讲》学习报告六 数据维度灾难需要降维 实际数据会有很多的维度,但对数据处理时,不能将所有数据的维度都当做一个参数,那样就会导致我们口中的维度灾难 那么,维度灾难该怎么处理呢 1主要成分分析 基本思想:构造原始特征的一系列线性组合形成的线性无关低纬特征,以去除数据的相关性,并使降维后的数据最大程度的保持原始高维数据的 机器学习 机器学习十讲-第二讲回归 回归 回归三大模型 线性回归 岭回归 LASSO回归 使用回归模型预测鲍鱼年龄 一、导入数据,进行分析 可以看出鲍鱼有9个特征 每个特征所对应的数据代表的含义是: 数据集一共有 4177 个样本,每个样本有 9 个特征。其中 rings 为鲍鱼环数,能够代表鲍鱼年龄,是预测变量。除了 sex 为离散 机器学习 岭回归 线性回归 数据集 机器学习十讲--第一讲 import pandas as pd #绘图中文字体 import matplotlib as mpl mpl.rcParams['font.sans-serif']=['SimHei'] # #指定默认字体 SimHei为黑体 mpl.rcParams['axes.unicode_minus'] 机器学习 机器学习十讲--第八讲-维度灾难 机器学习 《机器学习十讲》学习报告十 强化学习: 智慧决策的过程,通过过程模拟和观察来不断学习,提高决策能力 策略:在特定状态下应该怎么采取行动 目的:找到最佳策略,即能够获得最大奖励的策略 数学模型: 策略和目标: 在马尔科夫决策过程中,最终需要求解一个策略,他是行动和状态之间的映射 分为确定性策略和随机性策略 目标:最大化累计奖励的 机器学习 机器学习十讲--第三讲-分类 import pandas as pd raw_train = pd.read_csv("input/chinese_news_cutted_train_utf8.csv",sep="\t",encoding="utf8") raw_test = pd.read_csv("input/chinese 机器学习 机器学习十讲--第五讲-聚类 机器学习 机器学习十讲--第七讲-最优化 机器学习 第六讲邮件服务 第六讲邮件服务Sendmail只支持SMTP协议,需要用dovecot来支持POP3和IMAP4协议,OpenWebmail让客户端可以通过IE浏览器来收发邮件。//access.db 是进行访问控制的。修改access文件后通过makemap生成access.dbSendmail的常见配置举例 //要启用SMTP认证这个服务必须开启 linux 职场 sendmail 休闲 shell编程第六讲 例子: 系统 《机器学习十讲》学习报告九 深度学习应用领域全面突破:机器翻译 语音识别等 神经元与感知机 多层感知机 多个神经元以全连接层次相连 网络称为前馈神经网络 也称多层感知机 多层感知机能够逼近任何函数 误差函数 梯度计算:后向传播BP: 前向传播计算误差,后向传播计算梯度 机器学习与深度学习之间差别 机器学习 《机器学习十讲》学习报告八 维度灾难: 随着维度的增多,问题的复杂性(或计算代价)呈指数型增长的现象 基于距离的机器学习模型 稀疏度与过度拟合 过度拟合:模型对已知数据拟合较好,新的数据拟合较差 高维空间中样本变得极度稀疏,容易造成过度拟合问题 计算复杂度:决策树 随着维数的增加。计算复杂度指数增长 只能求近似解得到局部最优解 机器学习 《机器学习十讲》学习报告七 机器学习的优化目标 一,梯度下降法 batch梯度下降法: 随机梯度下降SGD 线性衰减然后保持为常数 梯度爆炸和悬崖 解决方法:梯度阶段 启发式梯度截断干涉以减少步长 二,动量法 在参数更新时考虑历史梯度信息 Nesterov动量法 机器学习 《机器学习十讲》学习报告四 一,模型提升方法 模型误差来源: 逼近误差 估计误差:训练到的函数与模型空间最好的函数的距离 线性到非线性模型: 线性回归:多项式回归 支持向量机 决策树:空间划分的思想来处理非线性数据 决策树的生成: 从根节点开始,选择对应特征 选择节点特征分割点 二,节点特征和分割点的选择 不纯度:表示落在当前 机器学习 《机器学习十讲》学习报告三 点到平面距离: 梯度下降法: 最大似然法: 如何做分类? 感知机: 找到一条直线将两类数据分开 支持向量机: 找到一条直线将两类数据分开,还要使数据离直线尽可能的远 逻辑回归: 使观察到训练集的“可能性”最大 分类问题的评价指标: 机器学习 《机器学习十讲》学习报告五 数学基础:凸函数与Jensen不等式 凸函数:弦在弧上 聚类:样本没有类别标签,一种典型的无监督学习方法 相同类的样本之间距离较近 不同类的样本之间距离较远 K-means模型 模型求解: 交替迭代法: 固定c优化r, 固定r优化c, 固定c,优化r 固定r,优化c K-Means算法流程 1,随机 机器学习 《机器学习十讲》学习报告一 一,大数据的基本公式: 机器学习就是在获得很多组的x数据和y数据以后获得F映射的一个过程 深度学习是机器学习的一部分,就是在获得data后提取出x数据的过程 如果数据y用来模仿人类的行为,例如自动驾驶等,就称其为人工智能 二,机器学习方法分类: 1,有监督学习 就是数据y包含已经有的结果标签 用处: 机器学习 zabbix windows 磁盘报警 作者:郭晓东 时间:2018-08-01磁盘报警可以说是运维工程师经常碰到的一类问题了,起初,我们收到低频的磁盘报警的时候选择手工清理或者写一些简单的脚本来应付了事,随着业务日志的增长,出现了越来越多的磁盘报警,也出现了不同版本的磁盘清理脚本,但是仍然没有明显的减少磁盘报警对运维人员的干扰, 于是开始了一个算是较为通用的磁盘清理脚本的编写。在写脚本的过程中考虑了几个问题 1.要清理哪些日志,应该设 zabbix windows 磁盘报警 sed 误删 机器发现 python 进程外服务 我们现在都知道python的多线程是个坑了,那么多进程在这个时候就变得很必要了。多进程实现了多CPU的利用,效率简直棒棒哒~~~拥有一个多进程程序: 1 #!/usr/bin/env python 2 #-*-coding:utf-8-*- 3 __author__ = 'Eva_J' 4 import multiprocessing 5 import time 6 python 进程外服务 python 子进程 进程池 idea 没有Templates 1、在打开Idea后选择Create New Project,如下图所示:2、选择Maven,然后不要选Create from archetype,直接点击Next,如下图所示:3、输入GroupId和ArtifactId,然后点击Next,如下图所示:4、输入工程名称以及路径,然后点击Finish,如下图所示:5、创建好之后如下图所示的目录结构:6、右键单击src,然后在弹出的菜单中选择Dele idea 没有Templates User mysql spring springcloud整合 tdengine (此次创建的Demo小案例都是基于springBoot【2.0.0.M3】,springCloud【Finchley.M2】创建的,读者若是为了演示正常,请务必保持版本一致)微服务系统中服务与服务之间的调用有时候是比较繁琐的,尤其是在分析一个请求链为何特别耗时的时候,Zipkin可以说是一大利器,下面展示springcloud中如何集成使用zipkin1)新建项目,这里直接使用之前创建好的orde spring Docker UI python中r是转义字符吗 一、打开文件的模式1:读、写、追加1、r读:读模式,只能读,不能写,打开不存在的文件会报错;可省略'r',因为不写默认是读模式f = open('filename',encoding='utf-8') result = f.read() print(result) f.close()2、w写:写模式,只能写,不能读,会覆盖原来的内容,文件不存在会创建f = open('test.txt','w' python中r是转义字符吗 读取文件 文件指针 打开文件