众所周知，bert预训练有加入了两个下游任务进行训练，分别是next sentence prediction和mask prediction。next sentence prediction：输入[CLS]a[SEP]b[SEP]，预测b是否为a的下一句，即二分类问题；mask prediction：输入[CLS]我 mask 中 mask 天 安 门[SEP]，预测句子的mask，多分类问题一直
转载
2024-05-16 06:59:43
172阅读
transformer中decoder和encoder是非常像的。先假设decoder是一个独立的块，研究它的输入和输出。一、Autoregressive（自回归）如果把decoder当成一个黑匣子，这个黑匣子先接受一个特殊符号begin，说明预测开始，第一个输出的字符为“机”，那么A再输入进decoder在输出"器"，以此类推。在最后的时候用另一个特殊符号end结尾。这样把输出当成输入的学习称
转载
2024-04-05 10:31:50
130阅读
线性回归
LinearRegression多项式回归
PolynomialFeatures支持向量回归
SVR决策树回归
DecisionTreeRegressor随机森林回归
RandomForestRegressorLASSO回归
LassoCV岭回归
RidgeCVElasticNet回归
ElasticNetCVXGBoost回归
XG
转载
2024-03-20 20:25:57
187阅读
BERT模型详解 http://fancyerii.github.io/2019/03/09/bert-theory/
其他参考 NLP必读：十分钟读懂谷歌BERT模型 https://zhuanlan.zhihu.com/p/51413773 前段时间Google推出了重磅的模型BERT(Bidirectional Encoder Repre
转载
2024-08-25 22:45:28
290阅读
Transformers版本：4.4.2（2021 年 3 月 19 日发布）1. 本节接着上节内容，本节具体内容： a） BERT-based Models应用模型 b） Bert解决NLP任务 - BertForSequenceClassification - BertForMultiChoice - BertForTokenClassification - Bert
转载
2024-09-28 09:18:54
482阅读
又查查了回归分析的基本概念，这里记录一下，年纪大了容易忘lol线性回归模型Linear Regression Models：例如数据有n个观察结果（yi，xi）i从1到n，yi是这个观察的响应标量值（a scalar response），xi是一组含p个预言子（predictor）的向量在线性回归分析中就可以表示为yi=xi的转至矩阵×β+εi，这里β也是一个含p个未知参数的向量，叫做系数（coe
Transformer采用自注意力机制，与一般注意力机制计算分配值的方法基本相同，原理可参考 只是！Query的来源不同，一般AM中的query来源于目标语句，而self-AM的query来源于源语句本身。Encoder模块中自注意力机制计算步骤如下：把输入单词转换为带时序信息的嵌入向量 x（源单词的词嵌入 + 对应的Position Encoding）；根据嵌入向量 x 生成 q、k、v 三个
转载
2024-03-17 14:04:01
757阅读
文章目录代码资源原理学习任务代码讲解代码重写说明 代码资源Bert-pytorch原理学习任务Bert 本质上是 Transformer 的 Encoder 端，Bert 在预训练时最基本的任务就是：判断输入的两个句子是否真的相邻预测被 [MASK] 掉的单词通过这两种任务的约束，可以让 Bert 真正学到：上下句子之间的语义关系的关联关系，一个句子中不同单词之间的上下文关系所以通过 BERT
转载
2024-04-26 14:55:25
129阅读
在目前的机器学习领域中，最常见的三种任务就是：回归分析、分类分析、聚类分析。在之前的文章中，我曾写过一篇<15分钟带你入门sklearn与机器学习——分类算法篇>。那么什么是回归呢？回归分析是一种预测性的建模技术，它研究的是因变量（目标）和自变量（预测器）之间的关系。回归分析在机器学习领域应用非常广泛，例如，商品的销量预测问题，交通流量预测问题。那么，如何为这些回归问题选择最合适的机器
转载
2024-07-17 06:34:09
166阅读
将用户行为表示为二分图模型。假设给用户\(u\)进行个性化推荐，要计算所有节点相对于用户\(u\)的相关度，则PersonalRank从用户\(u\)对应的节点开始游走，每到一个节点都以\(1-d\)的概率停止游走并从\(u\)重新开始，或者以\(d\)的概率继续游走，从当前节点指向的节点中按照均匀分布随机选择一个节点往下游走。这样经过很多轮游走之后，每个顶点被访问到的概率也会收敛趋于稳定，这个时
继204年rcnn，2015年SPPnet、fast rcnn后，2016年，hekaiming和rbg合作提出了faster rcnn(一作是renshaoqing)，以解决region proposal的耗时问题；回顾一下fast rcnn的过程，先通过selective search在每张图片选2k个region proposal，将原图通过cnn得到feature map，然后通过SPP或
转载
2024-03-29 14:17:07
56阅读
做长时间序列的预测 Decomposition把时间序列做拆分，分解 提出新的注意力机制Auto-CorrelationAbstract该论文提出了一种名为Autoformer的新深度学习模型，用于对时间序列数据进行长期预测。它使用具有自动关联机制的分解架构来发现和表示子系列级别的依赖关系，从而在涵盖实际应用的六个基准测试上具有最高的准确性。Introduction在导言中，作者强调了长期预测对于
Regression 就是找到一个函数 functionfunction ，通过输入特征 xx，输出一个数值 ScalarScalar。应用举例
股市预测（Stock market forecast）
输入：过去10年股票的变动、新闻咨询、公司并购咨询等输出：预测股市明天的平均值自动驾驶（Self-driving Car）
输入：无人车上的各个sensor的数据，例如路况、测出的车距
上篇介绍的多类回归，因变量的多个分类是无序的，即所谓的定类数据。还有一种分类数据，其类别存在大小顺序，即定序数据。这两类逻辑回归的原理是不同的。本篇介绍MADlib的序数回归模型。 一、序数回归简介 在统计学中，序数回归（Ordinal Regression，也称为“序数分类”）是一种用于预测序数变量的回归分析，即其值存
转载
2024-03-21 10:40:27
426阅读
导语如我们在第二章中提到的，有监督学习主要分为回归问题和分类问题。之前的章节我们已经介绍过一元线性回归问题，多元线性回归问题，从本章开始我们将进入另一个方向——分类问题 (Classification)。1. 什么是分类问题？分类问题主要针对“是不是”和“有没有”的问题，大致分为：二分类问题：比如猫狗识别，判断一张图片中是猫还是狗（是不是）多分类问题：比如阿拉伯数字识别，判断一张图片中的数字是几（
- 引言这个问题提出的原因：MVU估计量即使存在可能也无法求出。比如：有些情况下，可能并不知道数据的PDF；或知道噪声的矩统计量。这些请况下，依赖于CRLB以及充分统计量就不可用，而且充分统计量的方法也无法保证得到的估计量是最佳的MVU估计量。要得到最佳MVU估计量，就有必要取寻找准最佳MVU估计量。若准最佳MVU估计量的方差可确定，且满足当前估计问题的需求，那么可认定它可用；若不可用，则需要寻找
转载
2024-07-27 10:57:10
40阅读
Bert初识 训练向量比较好用的工具（不需要对特定的任务修改模型，预训练时进行微调就可以满足各种任务） Bert：基于微调的语言模型。利用左右两侧的上下文信息，通过联合调节所有层中的双向Transformer来训练预训练深度双向表示，transformer作为特征提取器 GPT：基于微调的语言模型。可以单项获得句子上下文更远的语言信息使用bert Google公布的模型（预训练模型）：使用时进行特
写在前面：打算记录一下很常见的backbone网络，本篇博客用于记录自己ResNet网络的学习过程。 论文传送门：Deep Residual Learning for Image Recognition一、ResNet网络做了什么1、提出 Residual 结构（残差结构），并搭建超深的网络结构 我们在搭建更深层网络时，并不是简单堆叠就能取得比较好的效果的。 如上图，56层的网络效果反而更差，这是
转载
2024-04-23 15:16:30
136阅读
在BERT（Bidirectional Encoder Representations from Transformers）中，通过堆叠Transformer编码器（Transformer encoder），可以捕捉一个句子中深度双向的词与词之间的信息，并使用输出层中的特殊标记[CLS]的向量来表示整个句子的向量。BERT是一种基于Transformer架构的预训练模型，它通过在大规模文本语料上进
转载
2024-08-20 19:35:23
62阅读
目录一、Bert 预训练模型准备二、Bert 模型文本分类1、数据准备2、代码实现3、分类过程与结果一、Bert 预训练模型准备中文预训练模型下载 当Bert遇上Keras：这可能是Bert最简单的打开姿势 keras-bert不同模型的性能对比如下（可根据自己的数据选择合适的模型，模型越大需要训练
转载
2024-09-05 16:05:43
77阅读
