导语如我们在第二章中提到的，有监督学习主要分为回归问题和分类问题。之前的章节我们已经介绍过一元线性回归问题，多元线性回归问题，从本章开始我们将进入另一个方向——分类问题 (Classification)。1. 什么是分类问题？分类问题主要针对“是不是”和“有没有”的问题，大致分为：二分类问题：比如猫狗识别，判断一张图片中是猫还是狗（是不是）多分类问题：比如阿拉伯数字识别，判断一张图片中的数字是几（
Transformer采用自注意力机制，与一般注意力机制计算分配值的方法基本相同，原理可参考 只是！Query的来源不同，一般AM中的query来源于目标语句，而self-AM的query来源于源语句本身。Encoder模块中自注意力机制计算步骤如下：把输入单词转换为带时序信息的嵌入向量 x（源单词的词嵌入 + 对应的Position Encoding）；根据嵌入向量 x 生成 q、k、v 三个
转载
2024-03-17 14:04:01
755阅读
说到回归，大家第一个想起的肯定是线性回归，但也有其它的回归，就像说到旺旺大家总觉得是旺仔牛奶或者旺旺仙贝，但是没想到它还自己开了一家医院。我们略过第三章的线性回归部分：它从简单线性回归讲起，介绍了
统计量，接着是多元（multiple，没有用矩阵表示）线性回归，当然还有哑变量与交互项的使用与参数解释，然后自然引出了线性回归可能存在的问题——数据本身非线性、误差项非独立、异方差、异常值
在目前的机器学习领域中，最常见的三种任务就是：回归分析、分类分析、聚类分析。在之前的文章中，我曾写过一篇<15分钟带你入门sklearn与机器学习——分类算法篇>。那么什么是回归呢？回归分析是一种预测性的建模技术，它研究的是因变量（目标）和自变量（预测器）之间的关系。回归分析在机器学习领域应用非常广泛，例如，商品的销量预测问题，交通流量预测问题。那么，如何为这些回归问题选择最合适的机器
转载
2024-07-17 06:34:09
166阅读
细节图单个head： X(sentence) —> [*]WQ(WK/WV) —> [f( )]Q(K/V) —> Zi 注：[ ]内变换方法多个head： Z1... Zn —> *WO —> Z 这里的add操作就是将self-attention这个layer的输出 Z+ self-atten
转载
2024-08-28 13:23:36
64阅读
众所周知，bert预训练有加入了两个下游任务进行训练，分别是next sentence prediction和mask prediction。next sentence prediction：输入[CLS]a[SEP]b[SEP]，预测b是否为a的下一句，即二分类问题；mask prediction：输入[CLS]我 mask 中 mask 天 安 门[SEP]，预测句子的mask，多分类问题一直
转载
2024-05-16 06:59:43
172阅读
1. 从Fast R-CNN到Fast R-CNN 由图可见，Faster-RCNN引入了RPN网络（region proposal network）来代替selective-search，这使得整个网络实现了端到端，即在统一的架构处理所有问题。这也是比Fast更快的原因，避免了selective-search的过程，而全替换为CNN网络。2. 细节 很多相似的步骤在上一节Fast R
转载
2024-03-27 16:15:08
75阅读
transformer中decoder和encoder是非常像的。先假设decoder是一个独立的块，研究它的输入和输出。一、Autoregressive（自回归）如果把decoder当成一个黑匣子，这个黑匣子先接受一个特殊符号begin，说明预测开始，第一个输出的字符为“机”，那么A再输入进decoder在输出"器"，以此类推。在最后的时候用另一个特殊符号end结尾。这样把输出当成输入的学习称
转载
2024-04-05 10:31:50
130阅读
本文记录线性回归的一般步骤，并不会详细介绍原理。第二章单变量线性回归和第六章多变量线性回归。1. 线性回归：可以简单理解为就是为就是找一条线来拟合我们已有的数据集。数据集一般包括x和y，x如果只是一个数则为单变量线性回归，如果x很多则为多变量线性回归。 表达式中h即y, X即x, theta就是我们需要确定的系数。举个例子：比如我给你一组数据，包括x(房屋的大小size)和y(房屋的价格price
转载
2024-09-23 12:53:47
142阅读
学习排序算法，除了学习它的算法原理和代码实现之外，更重要的是要学会如何评价、分析排序算法。其实，排序算法主要是从执行效率、内存消耗、稳定性三个方面进行分析。
分析方法执行效率对于排序算法执行效率的分析，不仅仅只是简简单单的一个时间复杂度。还需要从以下方面进行分析：最好情况、最坏情况、平均情况时间复杂度。对于排序算法来说，有序度不同的数据，对于排序的执行时
机器学习的应用示例分析生产线上的产品图像来对产品进行自动分类
图像分类问题，使用卷积神经网络CNN通过脑部扫描发现肿瘤
语义分割，图像中的每个像素都需要被分类，也是用CNN自动分类新闻、恶意评论标记、长文总结
自然语言处理（NLP），更具体的是文本分类，可以使用循环神经网络（RNN）、CNN或者Transformer基于很多性能指标预测来年收入
回归问题，需要回归模型进行处
转载
2024-05-08 17:08:44
67阅读
将用户行为表示为二分图模型。假设给用户\(u\)进行个性化推荐，要计算所有节点相对于用户\(u\)的相关度，则PersonalRank从用户\(u\)对应的节点开始游走，每到一个节点都以\(1-d\)的概率停止游走并从\(u\)重新开始，或者以\(d\)的概率继续游走，从当前节点指向的节点中按照均匀分布随机选择一个节点往下游走。这样经过很多轮游走之后，每个顶点被访问到的概率也会收敛趋于稳定，这个时
继204年rcnn，2015年SPPnet、fast rcnn后，2016年，hekaiming和rbg合作提出了faster rcnn(一作是renshaoqing)，以解决region proposal的耗时问题；回顾一下fast rcnn的过程，先通过selective search在每张图片选2k个region proposal，将原图通过cnn得到feature map，然后通过SPP或
转载
2024-03-29 14:17:07
56阅读
做长时间序列的预测 Decomposition把时间序列做拆分，分解 提出新的注意力机制Auto-CorrelationAbstract该论文提出了一种名为Autoformer的新深度学习模型，用于对时间序列数据进行长期预测。它使用具有自动关联机制的分解架构来发现和表示子系列级别的依赖关系，从而在涵盖实际应用的六个基准测试上具有最高的准确性。Introduction在导言中，作者强调了长期预测对于
1摘要 验证和回归是神经网络中用于预测的两种通用方法。每种方法都有其各自的优势：验证更容易准确推断，回归更有效并且适用于连续目标变量。因此，仔细地组合它们以利用它们的好处通常是有益的。
在本文中，我们采用了这种理念来改进最新的对象检测，特别是通过RepPoints。尽管RepPoints提供了高性能，但我们发现它严重依赖于回归来进行目标定位，因此还有改进的余地。我们将验证任务引入R
转载
2024-01-03 12:56:18
43阅读
Regression 就是找到一个函数 functionfunction ，通过输入特征 xx，输出一个数值 ScalarScalar。应用举例
股市预测（Stock market forecast）
输入：过去10年股票的变动、新闻咨询、公司并购咨询等输出：预测股市明天的平均值自动驾驶（Self-driving Car）
输入：无人车上的各个sensor的数据，例如路况、测出的车距
在一些其他场景中，我们的模型输出可能是一个图像类别这样的离散值，对于这样的离散值预测问题，可以使用 softmax 回归的分类模型。1.1 分类问题在一个简单图像分类问题中，输入图像的高和宽均是 2 像素，色彩为灰度，可以将图像中的 4 像素分别记为 ，假设训练集中图像的真实标签为狗、猫和鸡，也就是说通过这4种像素可以表示出这三种动物，这些标签对应着 &
转载
2024-05-24 09:12:31
44阅读
一.线性回归算法简介 线性回归(Linear Regression)是利用线性回归方程的最小平方函数对一个或多个自变量和因变量之间关系进行建模的一种回归分析。这种函数是一个或多个称为回归系数的模型参数的线性组合。只有一个自变量的情况称为一元线性回归，多于一个自变量情况的叫做多元线性回归。对于参数的求解，需要对函数进行评估以检测是否为最优。一般这个函数被称为损失函数(loss function)
转载
2024-07-31 23:52:43
321阅读
本来想发在知乎专栏的，但是文章死活提交不了，我也是醉了，于是乎我就干脆提交到CNBLOGS了。前言前段时间我们介绍了Logistic的数学原理和C语言实现，而我呢？其实还是习惯使用Matlab进行计算的，而且是不带C的Matlab。（主要我们都用Windows） 那为什么要用SQL实现呢?（准确的说是PL/SQL） 因为我发现数据一次性加载进内存里面太大了，直接在SELECT的时候OutOfMem
转载
2024-04-12 05:34:45
233阅读
朴素贝叶斯是一个基于概率统计的机器学习算法，作用是用于多分类。 训练集包含已知分类类别的大量样本，每个样本具有n维特征，例如：已知一个人分类为胖或者瘦，有5个特征用于分类，这5个特征分别是体重、身高、年龄、鞋码、每天吃几碗饭。每个特征可能还有分等级，
