前言总的来说，机器学习的问题可以分为两大类：分类和回归，不管是分类还是回归，其本质是一样的，都是对输入做出预测，并且都是监督学习。说白了，就是根据特征，分析输入的内容，判断它的类别，或者预测其值。在分类问题上，这几年已经有很多文献比较了常见的机器学习方法，比如： Do we Need Hundreds of Classiers to Solve Real World Classification
转载
2024-03-18 19:24:52
47阅读
文章目录什么是RNNRNN工作原理图解多种RNN形态RNN的公式原理结合pytorch官方样例学习RNN 什么是RNNRNN工作原理图解RNN是怎样工作的？假如在t时刻，神经网络输入x(t)，神经网络会计算状态s(t)，并输出y(t)。到t+1时刻，输入为x(t+1)，神经网络会根据s(t)和s(t+1)来输出y(t+1)。多种RNN形态RNN经过适当组合，有不同的输入和输出形式，从而能解决不同
转载
2024-04-03 12:31:07
74阅读
#(一)随机变量的概念定义(随机变量)
设随机试验E的样本空间为S={e}
若X=X(e)是定义在样本空间S上的一个单值实函数，则称X=X(e)为随机变量。
复制代码 随机变量主要有离散型和连续型两类:若随机变量只可能取有限个或可数无限个值 时，则称之为离散型随机变量。若随机变量可以取一个区间中的所有实数 时，则称之为连续型随机变量。#(二)随机变量的例子例1 掷硬币的试验中
样本空间 S={正
用机器学习检测异常点击流 本文内容是我学习ML时做的一个练手项目，描述应用机器学习的一般步骤。该项目的目标是从点击流数据中找出恶意用户的请求。点击流数据长下图这样子，包括请求时间、IP、平台等特征：该项目从开始做到阶段性完成，大致可分为两个阶段：算法选择和工程优化。算法选择阶段挑选合适的ML模型，尝试了神经网络、高斯分布、Isolation Forest等三个模型。由于点击流数据本身的特性，导致
转载
2024-08-16 14:29:45
0阅读
BERT模型详解 http://fancyerii.github.io/2019/03/09/bert-theory/
其他参考 NLP必读：十分钟读懂谷歌BERT模型 https://zhuanlan.zhihu.com/p/51413773 前段时间Google推出了重磅的模型BERT(Bidirectional Encoder Repre
转载
2024-08-25 22:45:28
284阅读
1 概述 在某海量数据分析系统中，使用AC多模改进算法做多模匹配，作为数据分类和分发的第一道关口。部署时间较长后，内存占用较大，预处理时间随模式串数量的增加呈指数级增长，到达10W条模式串的时候已经无法正常运行。为满足需求，研究算法性能，在AC改进算法无法打成需求
一、如何学习回归分析？1.学习回归分析之前，我们需要先明白什么是回归分析? 为什么要学习回归分析？简单线性回归初中时期，我们都学习过简单的线性方程。例如，一元一次方程、一元二次方程等。这些简单的线性方程就是回归分析中线性回归的一种体现，通过线性回归方程，我们可以输入一个自变量得到一个预测的因变量。简单线性回归的自变量和因变量也被称为特征和标签。因为线性回归具有预测功能，所以线性回归时常运用到生活当
转载
2023-11-21 19:09:23
99阅读
写在前面：打算记录一下很常见的backbone网络，本篇博客用于记录自己ResNet网络的学习过程。 论文传送门：Deep Residual Learning for Image Recognition一、ResNet网络做了什么1、提出 Residual 结构（残差结构），并搭建超深的网络结构 我们在搭建更深层网络时，并不是简单堆叠就能取得比较好的效果的。 如上图，56层的网络效果反而更差，这是
转载
2024-04-23 15:16:30
136阅读
本文介绍如何构建简单线性回归模型及计算其准确率，最后介绍如何持久化模型。线性回归模型线性回归表示发现函数使用线性组合表示输入变量。简单线性回归很容易理解，使用了基本的回归技术，一旦理解了这些基本概念，可以更好地学习其他类型的回归模型。回归用于发现输入变量和输出变量之间的关系，一般变量为实数。我们的目标是估计映射从输入到输出的映射核函数。下面从一个简单示例开始：1 --> 2
3 -->
转载
2023-07-11 20:05:50
165阅读
Transformer采用自注意力机制，与一般注意力机制计算分配值的方法基本相同，原理可参考 只是！Query的来源不同，一般AM中的query来源于目标语句，而self-AM的query来源于源语句本身。Encoder模块中自注意力机制计算步骤如下：把输入单词转换为带时序信息的嵌入向量 x（源单词的词嵌入 + 对应的Position Encoding）；根据嵌入向量 x 生成 q、k、v 三个
转载
2024-03-17 14:04:01
749阅读
逻辑回归前言一、逻辑回归简介二、逻辑回归推导1、问题2、Sigmoid函数3、目标函数3.1 让步比3.2 极大似然估计3.3 推导4、代价函数5、最大化似然函数三、逻辑回归实现结果展示 前言第二次实验开始了，内容是逻辑回归，听起来像是线性回归的兄弟，然而仔细查阅后发现逻辑回归其实是一种分类算法；我们知道回归算法的结果建立在连续的数据上，分类算法的结果建立在离散的数据上；因此逻辑回归本质上是一种
转载
2024-06-07 07:30:30
62阅读
细节图单个head： X(sentence) —> [*]WQ(WK/WV) —> [f( )]Q(K/V) —> Zi 注：[ ]内变换方法多个head： Z1... Zn —> *WO —> Z 这里的add操作就是将self-attention这个layer的输出 Z+ self-atten
转载
2024-08-28 13:23:36
64阅读
说到回归，大家第一个想起的肯定是线性回归，但也有其它的回归，就像说到旺旺大家总觉得是旺仔牛奶或者旺旺仙贝，但是没想到它还自己开了一家医院。我们略过第三章的线性回归部分：它从简单线性回归讲起，介绍了
统计量，接着是多元（multiple，没有用矩阵表示）线性回归，当然还有哑变量与交互项的使用与参数解释，然后自然引出了线性回归可能存在的问题——数据本身非线性、误差项非独立、异方差、异常值
导语如我们在第二章中提到的，有监督学习主要分为回归问题和分类问题。之前的章节我们已经介绍过一元线性回归问题，多元线性回归问题，从本章开始我们将进入另一个方向——分类问题 (Classification)。1. 什么是分类问题？分类问题主要针对“是不是”和“有没有”的问题，大致分为：二分类问题：比如猫狗识别，判断一张图片中是猫还是狗（是不是）多分类问题：比如阿拉伯数字识别，判断一张图片中的数字是几（
1. 从Fast R-CNN到Fast R-CNN 由图可见，Faster-RCNN引入了RPN网络（region proposal network）来代替selective-search，这使得整个网络实现了端到端，即在统一的架构处理所有问题。这也是比Fast更快的原因，避免了selective-search的过程，而全替换为CNN网络。2. 细节 很多相似的步骤在上一节Fast R
转载
2024-03-27 16:15:08
75阅读
调用robustfit函数作稳健回归regress函数和regstats函数利用普通最小二乘法估计模型中的参数，参数的估计值受异常值的影响比较大。robustfit函数采用加权最小二乘法估计模型中的参数，受异常值的影响就比较小。robustfit函数用来作稳健的多重线性或广义线性回归分析，下面介绍robustfit函数的用法。1.4.1．robustfit函数的用法robustfit函数有以下几种
转载
2024-03-29 07:25:01
124阅读
# 使用 Python 实现回归分析与残差计算的入门指南
在数据科学和机器学习领域，回归分析是一种至关重要的统计方法。通过回归，我们能够了解变量之间的关系，并对未来的值进行预测。本篇文章将指导您如何使用 Python 来实现简单的线性回归分析，并计算残差。
## 工作流程
下面是实现回归分析与残差计算的基本流程：
| 步骤 | 内容
原创
2024-09-05 05:03:07
29阅读
之前的很多算法（SVM、朴素贝叶斯等）的学习心得都没有来的及写。由于学校一个横向项目需要（酒店需求预测）考虑使用GBDT来做回归，今天就先写GBDT的心得体会（不久前刚写了随机森林作为铺垫）。这个算法是目前我接触到的算法当中比较难的一个了，但据说效果超级好，毕竟Kaggle竞赛的必备算法哈。 同随机森林
转载
2023-10-17 23:18:50
85阅读
1.概述 GBDT基于GB算法。GB算法的主要思想是，每次建立模型是在之前建立模型损失函数的梯度下降方向。损失函数是评价模型性能(一般为拟合程度+正则项)，认为损失函数越小，性能越好。而让损失函数持续下降，就能使得模型不断调整提升性能，其最好的方法就是使损失函数沿着梯度方向下降。GBDT再此基础上，基于负梯度(当损失函数为均方误差的时候，可以看作是残差)做学习。 2.原理 类似于随机森林
转载
2023-07-17 12:18:52
132阅读
目录最小二乘法代码实现1 数据导入2 线性回归模型定义 3 测试线性回归是利用数理统计中回归分析，来确定两种或两种以上变量间相互依赖的定量关系的一种统计分析方法，运用十分广泛。其表达形式为y = wx+b。一、最小二乘法一般来说，线性回归都可以通过最小二乘法求出其方程，可以计算出对于y=wx+b的直线。首先，直接给出w、b的解 均方误差是回归任务中最常用的性能度量，因此我们试图
转载
2023-07-03 22:56:59
184阅读
