随机梯度下降算法SGD参考：为什么说随机最速下降法 (SGD) 是一个很好的方法？假如我们要优化一个函数如上图, 就像你下山一样，每一步你都挑最陡的路走，如果最后你没摔死的话，一般你很快就能够走到山脚。用数学表示一下，就是这里就是第t步的位置，就是导数，是步长。所以这个算法非常简单，就是反复做这个一行的迭代。虽然简单优美，但 GD 算法至少有两个明显的缺陷**首先，**在使用的时候, 尤其是机器学
线性回归（一）线性回归是分析因变量与自变量呈现线性关系的一种方法，来确定一个因变量如何依赖一个或多个自变量的变化而变化，运用十分广泛。 在回归分析中，只包括一个自变量和一个因变量，且二者的关系可用一条直线近似表示，这种回归分析称为一元线性回归分析。如果回归分析中包括两个或两个以上的自变量，且因变量和自变量之间是线性关系，则称为多元线性回归分析。 线性回归常用参数： regression.inter
数学式待续codeimport numpy as npimport matplotlib.pyplot as plt# 载入数据data = np.genfromtxt("data.csv", delimiter=",")x_data = data[:,0]y_data = data[:,1]plt.scatter(x_data,y_data)plt.show()# 学习...
原创
2022-07-05 16:45:25
45阅读
提示：该文章不需要任何高数以外的数学基础(误)，所有的公式亲姥姥式推导? 如有错误，欢迎评论区留言指正噢 文章目录开始补充：一些涉及到的矩阵运算1. 关于矩阵乘法2. 关于矩阵转置3. 关于矩阵的逆3.1 逆矩阵的定义3.2 求逆矩阵3.3 关于$(A^{-1})^T=(A^T)^{-1}$4. 关于矩阵求导续正规方程续梯度下降总结 开始先准备梯度下降和正规方程分别需要的数据和目标提示：梯度下降和
前言关于线性回归相信各位都不会陌生，当我们有一组数据（譬如房价和面积），我们输入到excel，spss等软件，我们很快就会得到一个拟合函数:hθ(x)=θ0+θ1xh_\theta(x)=\theta_0+\theta_1xhθ(x)=θ0+θ1x但我们有没有去想过，这个函数是如何得到的？
原创
2022-01-16 09:44:56
196阅读
前言关于线性回归相信各位都不会陌生，当我们有一组数据（譬如房价和面积），我们输入到excel，spss等软件，我们很快就会得到一个拟合函数:hθ(x)=θ0+θ1xh_\theta(x)=\theta_0+\theta_1xhθ(x)=θ0+θ1x但我们有
原创
2021-09-05 10:08:14
528阅读
(更新中……)牛顿迭代法 1.基本概念：如图所示。 2.基本公式：xk+1=xk-f(xk)/f'(xk) 3.判断条件：|f(xn+1)|<ε或|xn+1-xn|<ε是否为真。若为真则xn+1就是方程f(x)=0在x0附近误差ε范围内的一个近似根。 4.实际应用：求cos(x)-x=0的近似解，精确到10-6。#include#includeint main()
{
转载
2021-05-09 10:49:50
638阅读
2评论
本文主要翻译自An Introduction to Gradient Descent and Linear Regression，原文写的通俗易懂，在文章最后还不忘推荐了一下吴恩达的机器学习课程。我不打算逐字逐句翻译，毕竟老外废话太多。线性回归可以用最小二乘法直接求解。这里之所以选择线性回归的例子并用梯度下降求解，是为了阐明梯度下降算法的应用。相关代码在这里。简单来讲，线性回归的目的就是，对于一个
从上个月专攻机器学习，从本篇开始，我会陆续写机器学习的内容，都是我的学习笔记。问题梯度下降算法用于求数学方程的极大值极小值问题，这篇文章讲解如何利用梯度下降算法求解方程 \(x^5+e^x+3x−3=0\)方法首先来解决第一个问题，从方程的形式我们就能初步判断，它很可能没有闭式解。我能想到的最直观的解决方法就是画出函数图，函数图与 x 轴的交点就是方程的解，那先画个图看看从函数图像大体可以判断，方
关于线性回归相信各位都不会陌生，当我们有一组数据（譬如房价和面积），我们输入到excel，spss等软件，我们很快就会得到一个拟合函数：但我们有没有去想过，这个函数是如何得到的？如果数学底子还不错的同学应该知道，当维数不多的时候，是可以通过正规方程法求得的，但如果维数过多的话，像图像识别/自然语言处理等领域，正规方程法就没法满足需求了，这时候便需要梯度下降法来实现了。>> 梯度下降法首
转载
2021-04-06 10:57:45
617阅读
问：我们将建立一个逻辑回归模型来预测一个学生是否被大学录取。假设你是一个大学系的管理员，你想根据两次考试的结果来决定每个申请人的录取机会。你有以前的申请人的历史数据，你可以用它作为逻辑回归的训练集。对于每一个培训例子，你有两个考试的申请人的分数和录取决定。为了做到这一点，我们将建立一个分类模型，根据考试成绩估计入学概率。import numpy as np
import pandas as pd
因为是个人学习笔记向（主要是懒，啥也不想写），所以就不仔细介绍一元线性回归以及梯度下降法的具体概念了，相关知识可参见高中数学课本（一元线性回归部分）和其他博客（梯度下降法），本文只注重梯度下降法的Python实现。 学习知识、资源与数据来源：机器学习算法基础-覃秉丰_哔哩哔哩_bilibili 使用 ...
转载
2021-07-21 17:22:00
155阅读
2评论
一、The data 我们将建立一个逻辑回归模型来预测一个学生是否被大学录取。假设你是一个大学系的管理员，你想根据两次考试的结果来决定每个申请人的录取机会。你有以前的申请人的历史数据，你可以用它作为逻辑回归的训练集。对于每一个培训例子，你有两个考试的申请人的分数和录取决定。为了做到这一点，我们将建立一个分类模型，根据考试成绩估计入学概率。#三大件
import numpy as np
i
1.梯度下降 1）什么是梯度下降？ 因为梯度下降是一种思想，没有严格的定义，所以用一个比喻来解释什么是梯度下降。 简单来说，梯度下降就是从山顶找一条最短的路走到山脚最低的地方。但是
机器学习中，很多监督学习模型需要构建损失函数，再用优化算法对损失函数进行优化，找到最优参数。常用到的优化算法有梯度下降法和最小二乘法，这里总结梯度下降法。1 梯度下降原理梯度下降在求解过程中，只需要求解损失函数的一阶导数，计算代价较小。基本思想：从某一点出发，沿着变化最快的方向前进，到达一个点后，再找下一个变化最快的地方，直到到达收敛点。
介绍梯度下降前，需要了解以下数学概念。1.1 梯度下降必备
简单易懂的人工智能系列：一元线性回归一元线性回归模型在研究某一现象时，主要关心与影响该现象最主要因素关系时，两者有密切联系，但并非一个变量唯一确定另一变量，可以使用一元线性回归模型。一元线性理论回归模型： &n
目 录1.预测和控制 预测 单值预测 区间预测 因变量新值的区间预测 因变量新值的平均值的区间估计 控制2.回归系数的解释3.回归应用的问题 预测和控制 建立回归模型的目的就是为了应用，回归模型最重要的应用是预测和控制。 一、 预测 1、 单值预测单值预测就是用单个值作为因变量新值的预测值。比如研究某地区小麦单位产量y 与施肥量
文章目录原理以及公3】学习率学习率属于超参.
原创
2022-06-28 04:14:42
385阅读
目录1 一元线性回归简介2 一元线性回归数学形式3 案例：不同行业工龄与薪水的线性回归模型3.1 案例背景3.2 具体代码3.3 模型优化4 总体展示5 线性回归模型评估6 模型评估的数学原理6.1 R-squared6.2 Adj.R-squared6.3 P值参考书籍1 一元线性回归简介线性回归模型是利用线性拟合的
一、一元线性回归先放上一元线性回归方程的参数公式x=[23.80 27.60 31.60 32.40 33.70 34.90 43.20 52.80 63.80 73.40];
y=[41.4 51.8 61.7 67.9 68.7 77.5 95.9 137.4 155.0 175.0];
plot(x,y,'r*'); %做散点图
xlabel('x(职工工资总额)','fontsize'
