文章目录1. Title2. Summary3. Problem Statement4. Method(s)4.1 Overall Architecture（1）Patch Partition（2）StagesPatch MergingSwin Transformer Block4.2 Shifted Window based Self-Attention（1）Self-Attention in
transformers的近期工作成果综述基于 transformer 的双向编码器表示(BERT)和微软的图灵自然语言生成(T-NLG)等模型已经在机器学习世界中广泛的用于自然语言处理(NLP)任务，如机器翻译、文本摘要、问题回答、蛋白质折叠预测，甚至图像处理任务。在本文中，对基于transformer 的工作成果做了一个简单的总结，将最新的transformer 研究成果(特别是在2021年和
转载
2024-04-15 15:20:40
19阅读
文章目录逻辑回归损失函数代价函数 按照任务的种类，将任务分为 回归任务和 分类任务。区别：输入变量与输出变量均为连续变量的预测问题是回归问题，输出变量为有限个离散变量的预测问题成为分类问题 逻辑回归逻辑回归是一个用于二分类(binary classification)的算法，是用回归的办法来做分类。用y^表示实际值等于1的机率的话， 应该在0到1之间。在逻辑回归中，我们的输出应该是等于线性函数
转载
2024-04-23 16:30:24
249阅读
一、损失函数概述在深度学习中，损失函数反映模型最后预测结果与实际真值之间的差距，用以分析训练过程的好坏、模型是否收敛等，例如均方误差、交叉熵损失之类。在pytorch中，损失函数可以看做是网络的某一层而放在模型定义中，而实际使用时更偏向于作为功能函数而放到前向传播中。 其中均方误差（MSE）损失主要用于回归任务，公式如下：交叉熵损失主要用于分类任务，其公式为： 目标检测任务为分类+回归，其在基本的
转载
2024-04-07 09:37:55
315阅读
众所周知，bert预训练有加入了两个下游任务进行训练，分别是next sentence prediction和mask prediction。next sentence prediction：输入[CLS]a[SEP]b[SEP]，预测b是否为a的下一句，即二分类问题；mask prediction：输入[CLS]我 mask 中 mask 天 安 门[SEP]，预测句子的mask，多分类问题一直
转载
2024-05-16 06:59:43
172阅读
目录逻辑回归尝试用线性回归解决分类问题Sigmoid函数新假设函数详解决策边界（decision boundary）线性决策边界非线性决策边界代价函数简化代价函数逻辑回归的梯度下降优化多类别分类问题（Multiclass Classification）一对多（一对余）思想（one-vs-all or one-vs-rest）逻辑回归前面有学到过，可以按照任务的种类，将任务分为回归任务和分类任务。
回归(regression)、梯度下降(gradient descent)机器学习的书和视频，其中很推荐两个：一个是 stanford的machine learning公开课，在verycd可下载，可惜没有翻译。不过还是可以看。另外一个是prml-pattern recognition and machine learning, Bishop的一部反响不错的书，而且是2008年的，算是比较新的一本
转载
2024-10-09 10:00:01
50阅读
目录1. logistic（逻辑斯蒂）函数2.二分类任务（binary classification）损失函数3.二分类任务（binary classification）最小批量损失函数4.逻辑斯蒂回归代码实现附：pytorch提供的数据集推荐课程：06.逻辑斯蒂回归_哔哩哔哩_bilibili回归是对连续变量预测。分类是对离散变量预测。通过比较分类的概率来判断预测的结果。回归&分类以学生
转载
2024-09-07 07:19:57
134阅读
transformer中decoder和encoder是非常像的。先假设decoder是一个独立的块，研究它的输入和输出。一、Autoregressive（自回归）如果把decoder当成一个黑匣子，这个黑匣子先接受一个特殊符号begin，说明预测开始，第一个输出的字符为“机”，那么A再输入进decoder在输出"器"，以此类推。在最后的时候用另一个特殊符号end结尾。这样把输出当成输入的学习称
转载
2024-04-05 10:31:50
130阅读
NAST:时间序列预测的非自回归时空Transformer模型[Submitted on 10 Feb 2021] 摘要虽然Transformer在很多领域取得了突破性的成功，特别是在自然语言处理(NLP)领域，但将其应用于时间序列预测仍然是一个巨大的挑战。在时间序列预测中，规范化 Transformer模型的自回归译码不可避免地会引入巨大的累积误差。此外，利用Transfo
转载
2024-08-25 13:36:10
181阅读
作为自然语言处理领域的主流模型，Transformer 近期频频出现在计算机视觉领域的研究中。例如 OpenAI 的 iGPT、Facebook 提出的 DETR 等，这些跨界模型多应用于图像识别、目标检测等高层视觉任务。而华为、北大、悉大以及鹏城实验室近期提出了一种新型预训练 Transformer 模型——IPT（Image Processing Transformer），用于完成超分辨率、去
转载
2024-04-22 16:22:27
105阅读
def getlittleLabel() :
'''
得到小类的所有标签
:return:
'''
with open(data_path.train_questions, encoding='utf-8') as fin :
read_results = [line.split("\t") for line in fin.readlines
转载
2024-11-01 15:12:06
30阅读
近年来，使用美国营养健康（NHANES）数据的文章中，有一类统计学方法异军突起，我称之为回归三板斧，即在统计学设计上同时建立广义线性回归，加权位数和回归以及贝叶斯核机回归三种模型，对比结果比较优劣，再进行综合的分析讨论，得出较为严谨详实的结果。本次我们将结合文章对这种方法进行学习。2019年2月，一篇题为：Association between exposure to a mixture of p
当今自然语言处理领域中最重要和最成功的模型之一是Transformer模型。它是一种基于自注意力机制的神经网络模型，最初由Google公司的研究人员提出，并被广泛应用于机器翻译、文本生成、情感分析等任务中。 Transformer模型之所以被广泛使用，是因为它在自然语言处理任务中取得了相当不错的结果。与传统的递归神经网络（如循环神经网络）不同，Transformer使用了全连接层和注意力
转载
2023-12-13 06:37:55
125阅读
总结自论文：Faster_RCNN，与Pytorch代码：本文主要介绍代码第二部分：model/utils ， 首先分析一些主要理论操作，然后在代码分析里详细介绍其具体实现。 一. 主要操作1. bounding box回归：目的是提高定位表现。在DPM与RCNN中均有运用。1) RCNN版本： 在RCNN中，利用class-spec
最近Transformer在CV领域很火，Transformer是2017年Google发表的Attention Is All You Need，主要是针对自然语言处理领域提出的。本系列文章介绍Transformer及其在各种领域引申出的应用。自我注意(Self-attention)，有时也称为内部注意(intra-attention)，是一种将单个序列的不同位置联系起来，以计算该序列的表示的注意
transformer核心复现一文读懂transformer一文读懂bert图解transformerimport torch
import torch.nn.functional as F
import numpy as np
import math, copy, time
from torch.autograd import Variable
import matplotlib.pyplot
将用户行为表示为二分图模型。假设给用户\(u\)进行个性化推荐，要计算所有节点相对于用户\(u\)的相关度，则PersonalRank从用户\(u\)对应的节点开始游走，每到一个节点都以\(1-d\)的概率停止游走并从\(u\)重新开始，或者以\(d\)的概率继续游走，从当前节点指向的节点中按照均匀分布随机选择一个节点往下游走。这样经过很多轮游走之后，每个顶点被访问到的概率也会收敛趋于稳定，这个时
做长时间序列的预测 Decomposition把时间序列做拆分，分解 提出新的注意力机制Auto-CorrelationAbstract该论文提出了一种名为Autoformer的新深度学习模型，用于对时间序列数据进行长期预测。它使用具有自动关联机制的分解架构来发现和表示子系列级别的依赖关系，从而在涵盖实际应用的六个基准测试上具有最高的准确性。Introduction在导言中，作者强调了长期预测对于
降维与正则法 首先说明目前在网上有很多翻译讲解吴的中文材料，我也是刚刚开始学习，借鉴学习了他们很多，之所以想着要自己写一份，也是觉得这样能够帮助我总结学习的算法原理，不然很多东西自己总是看一遍过一段时间忘记，自己用自己的话写下来以后，也便于自己回顾。 在维基百科中，对回归分析(Regression analysis)是这样分析的：In statistical modeling, regre
转载
2024-06-05 12:41:02
138阅读
