①准备数据集 ②设计模型 ③构造损失函数和优化器 ④训练周期：前馈反馈更新，前馈算损失，反馈算梯度，用梯度下降算法更新权重准备数据设计模型PyTorch定义模型①首先把模型定义成一个类 ② ③构造损失函数和优化器 训练过程：先算y^ ，再算损失，这两个叫前馈，然后是后向传播，更新构造损失函数和优化器代码展现import torch
x_data=torch.Tensor([[1.0],[2.0],
前言本文大致分成两大部分，第一部分尝试将本文涉及的分类器统一到神经元类模型中，第二部分阐述卷积神经网络（CNN）的发展简述和目前的相关工作。本文涉及的分类器（分类方法）有：线性回归逻辑回归（即神经元模型）神经网络（NN）支持向量机（SVM）卷积神经网络（CNN）从神经元的角度来看，上述分类器都可以看成神经元的一部分或者神经元组成的网络结构。各分类器简述逻辑回归说逻辑回归之前需要简述一下线性回归。图
1. softmax回归是分类问题 回归（Regression）是用于预测某个值为“多少”的问题，如房屋的价格、患者住院的天数等。 分类（Classification）不是问“多少”，而是问“哪一个”，用于预测某个事物属于哪个类别，如该电子邮件是否是垃圾邮件、该图像是猫还是狗、该用户接下来最有可能看哪部电影等。 分类问题也有些许差别：（1）我们只对样本的硬性类别感兴趣，即属于哪个类别；（2）
一、论文题目来源 《Rich feature hierarchies for accurate oject detection and semantic segmentation》arxiv.org 《Fast R-CNN》arxiv.org
《Faster R-CNN： Towards Real-Time Object Detection with Region Proposal
目标回归问题问题说明：给定一幅图像，定位图像中目标的位置。发现直接定位目标位置这个任务太难了(当然现在有free anchor的方法，直接基于关键点检测如centernet等)思考那如果有一个初始框，设为P，那么我们的已知量为：
,要求
。我们将问题转化，先求得
),即相对predict anchor得变化量，那那我们的目标就变成了:
1摘要 验证和回归是神经网络中用于预测的两种通用方法。每种方法都有其各自的优势：验证更容易准确推断，回归更有效并且适用于连续目标变量。因此，仔细地组合它们以利用它们的好处通常是有益的。
在本文中，我们采用了这种理念来改进最新的对象检测，特别是通过RepPoints。尽管RepPoints提供了高性能，但我们发现它严重依赖于回归来进行目标定位，因此还有改进的余地。我们将验证任务引入R
0510 RNN的东西不会去忘记，直接一串子全部保留下来 Lstm 长短时记忆 可以控制这个参数也是需要去训练 逐渐优化 得到的门单元ft 遗忘门 it 保留门输入经过了一个遗忘门，经过了一个保留门选择性的遗忘和保留 是随时更新ct的状态的 从开始更新到结束 Classification and Location 分类与
研一上对CNN学习过一段时间，现在要用到论文里面，所以对此进行复习。 附上链接：http://cs231n.github.io/convolutional-networks/#case普通神经网络的参数太多，所以要使用卷积神经网络，其次因为卷积神经网络输入是图片，是三维结构，每一过程都是三维结构。 使用Relu的作用：Relu是一个激活函数，使用它可以让模型实现非线性分类。使用Local Resp
1.生成R_net数据集，并喂入R_net网络训练为了提高R_net数据的质量，我们的R_net数据集会通过P_net精炼一下。把回归框中对应的图片从原理图片中crop出来，resize生成24*24的大小。运行P_Net，得到每个回归框的分类得分和坐标的回归值。P_Net中推理出来的 bounding box 坐标可能超出元素图片的大小，这时候需要做图片处理，把坐标值限定在元素图片内，而空出来的
本文就R-CNN论文精读中 的预测框回归（Bounding box regression）问题进行详细讨论。R-CNN将候选框提取出来的特征向量，进行分类+偏移预测的并行处理。 偏移预测即预测框回归（Bounding box regression）问题，我们需要将生成的候选框进行位置、大小的微调。（图摘自b站up“同济子豪兄”的R-CNN论文解读） 我们需要思考这样一个问题：为什么加入这一个Reg
1、其中LRN就是局部响应归一化：这个技术主要是深度学习训练时的一种提高准确度的技术方法。其中caffe、tensorflow等里面是很常见的方法，其跟激活函数是有区别的，LRN一般是在激活、池化后进行的一中处理方法。 AlexNet将LeNet的思想发扬光大，把CNN的基本原理应用到了很深很宽的网络中。AlexN
今天数学考试结束以后，回到公寓倒头就睡。醒过来已经是晚上11点了，现在又变得无比精神，索性继续更新公众号。最近更新了很多LaTex的科普文，虽然这个公众号的初衷是要记录R语言的学习笔记。上周在写计量作业的时候，因为要对数据做回归分析并且教授需要看到我们的统计软件操作步骤，所以我第一次在LaTex编辑中插入了R语言代码和结果。今天，我就记录一下如何在LaTex文档中插入代码。 要说同步记录笔记和
可以从一个基本的例子对其进行解释。比如，我们可以在卷积神经网络（CNN）的最终卷积（conv）特征图上添加一个回归头。回归头可以是具有四个输出（x，y，w，h）的浅层全连接神经网络（NN）。一般来说，回归头可以使用基于梯度的算法进行优化，达到获取待检测对象位置的目的。 但是使用回归头有一个极大的限制，就是当图像中只有一个对象时才管用。如果场景中有两个或多个对象，则可能会干扰边界框的回归，因为每个对
线性回归
LinearRegression多项式回归
PolynomialFeatures支持向量回归
SVR决策树回归
DecisionTreeRegressor随机森林回归
RandomForestRegressorLASSO回归
LassoCV岭回归
RidgeCVElasticNet回归
ElasticNetCVXGBoost回归
XG
1.AlexNet主要用到新技术点如下：（1）成功使用ReLU作为RNN激活函数，成果解决了Sigmoid的梯度弥散问题。（2）训练时使用了Dropout，避免了过拟合。（3）在CNN中使用重叠的最大池化。提过了补偿比池化核尺寸小，这样池化层输出之间有重叠和覆盖，提高了特征的丰富性。（4）提出了LRN层，增强了模型的泛化能立。（5）使用CUDA加速深度卷积网络的训练。（5）数据增强，随机从256x
回归分析是一种预测性的建模技术，它研究的是因变量（目标）和自变量（预测器）之间的关系。这种技术通常用于预测分析，时间序列模型以及发现变量之间的因果关系。例如，司机的鲁莽驾驶与道路交通事故数量之间的关系，最好的研究方法就是回归。回归分析是建模和分析数据的重要工具。在这里，我们使用曲线/线来拟合这些数据点，在这种方式下，从曲线或线到数据点的距离差异最小。我会在接下来的部分详细解释这一点。我们为什么使用
实验内容卷积神经网络（CNN）因为其能够自动抽取图像的浅层到深层的特征，所以在近几年有许多应用。实验尝试使用深度学习框架Tensorflow，用AlexNet、ResNet两种CNN来对MNIST手写数据集进行图像分类。实验原理公式ReLU Nonlinearity(Rectified Linear Unit)卷积层使用ReLU代替sigmoid作为激活函数，加快收敛速度。Rectify指取不小于
1、概括虽然逻辑回归能够用于分类，不过其本质还是线性回归。它仅在线性回归的基础上，在特征到结果的映射中加入了一层sigmoid函数（非线性）映射，即先把特征线性求和，然后使用sigmoid函数来预测。逻辑回归假设数据服从伯努利分布,通过极大化似然函数的方法，运用梯度下降来求解参数，来达到将数据二分类的目的。逻辑回归：线性回归可以预测连续值，但是不能解决分类问题，我们需要根据预测的结果判定其属于正类
《数据分析实战》–用R做逻辑回归分析本文参考的是《数据分析实战》的第七章。背景：针对某公司的一个产品，发现其用户量不断的减少。 当时该产品发布的时候智能手机还并未普及，随后智能手机的市场不断的扩大，该产品也增加了账户迁移功能，即在智能手机上继续使用过去非智能手机中的游戏账号。该功能上线后，智能手机的用户稳步上升，然而最近总用户量却不断的减少，发现是产品的非智能手机用户大量减少。 现状：智能手机用
KNN工作原理 “近朱者赤，近墨者黑”可以说是KNN的工作原理。整个计算过程分为三步：1:计算待分类物体与其他物体之间的距离；2:统计距离最近的K个邻居；3:对于K个最近的邻居，它们属于哪个分类最多，待分类物体就属于哪一类。K-最近邻算法（K-Nearest Neighbor, KNN）中的K值是一个重要的超参数，不同的K值会影响模型的性能。常见的选择K值的方法包括以下几种网格搜索（Grid Se
