学习笔记 1. 什么是Transformer《Attention Is All You Need》是一篇Google提出的将Attention思想发挥到极致的论文。这篇论文中提出一个全新的模型，叫 Transformer，抛弃了以往深度学习任务里面使用到的 CNN 和 RNN。目前大热的Bert就是基于Transformer构建的，这个模型广泛应用于NLP领域，例如机器翻译，问答系统，文
这篇文章只讲述我看完视频和代码之后对ViT的理解，特别是代码中是怎么实现的网络结构。1.整体结构 这是论文中给出的图，整体思想就是将图片给切成一个个patch，将patchs看作是NLP中的单词输入进网络，通过数个Transformer Encoder后输出class token来进行分类。整体的结构还是很清晰的，接下来我就结合代码来一步步讲解ViT是怎样通过代码实现的。 2.
转载
2024-03-30 18:03:13
288阅读
Beam Search的问题先解释一下什么要对Beam Search进行改进。因为Beam Search虽然比贪心强了不少，但还是会生成出空洞、重复、前后矛盾的文本。如果你有文本生成经验，一定对这些现象并不陌生。在语言模型还不像如今的BERT、GPT这么厉害的时候，这种现象更加明显。没有经验也没关系，我们来看一个论文里面的例子。输入模型的引文（context)"The study, publish
转载
2024-03-01 22:11:47
183阅读
一.概述全连接网络和卷积网络都属于前向反馈网络，模型的输出和模型本身没有关联。而循环神经网络的输出和模型间有反馈。循环神经网络引入了记忆体的概念， 时刻的记忆体通过时刻的输入和上一时刻的记忆体求得，因此，循环神经网络保留了历史信息，常用来处理语音、文字等序列相关的信息。 上图所示为 时刻的循环神经网络，其中，只有一个记忆体，它与和上一时刻的相关；输出和记忆体相关。 如上图所
转载
2023-08-25 15:27:59
133阅读
目录1.ResNet简介2.residual结构和ResNet-34详解2.1 residual结构2.2 Batch Normalization 3.迁移学习 4.ResNeXt网络结构1.ResNet简介 ResNet在2015年由微软实验室提出，斩获当年lmageNet竞赛中分类
转载
2024-05-23 08:24:33
142阅读
思想相机视图进行特征提取和深度估计，根据深度估计的信息和特征进行融合，得到三维空间的特征生成pillar
生成图像空间内的三维坐标，根据特征下采样的倍数及深度数来生成上述三维坐标变换到点云空间，有以下几步变换
图像是有数据增强的，如旋转、平移、缩放等，浓缩成两个变换，仿射和平移，那第一步是增强后的三维坐标还原为原始的三维坐标，即平移和仿射的逆变换图像坐标系到相机坐标系，即乘以内参矩
转载
2024-05-24 19:24:11
180阅读
如何更好的使用BEMBEM是由Yandex团队提出的一种CSS Class 命名方法，旨在更好的创建CSS/Sass模块。他需要遵循一些特殊规定，有些人认为这些规定很冗余，但是我发现他们对于理解DOM有着很大的帮助。你可以去查看我之前的文章去了解为什么BEM如此伟大。或者你可以去查看这几篇中文文章来了解BEM(《BEM的定义》《为什么我们需要BEM》)。今天这篇文章，是我在假设你对BEM和Sass
一.概述常用文字识别算法主要有两个框架： CNN+RNN+CTC(CRNN+CTC)CNN+Seq2Seq+Attention本文介绍第一种方法。CRNN是一种卷积循环神经网络结构，用于解决基于图像的序列识别问题，特别是场景文字识别问题。文章认为文字识别是对序列的预测方法，所以采
转载
2024-03-15 11:36:34
105阅读
根据 GitHub - RangiLyu/nanodet: NanoDet-Plus⚡Super fast and lightweight anchor-free object detection model. ?Only 980 KB(int8) / 1.8MB (fp16) and run 97FPS on cellphone?打印调试得出NanoDetPlus(
(backbo
转载
2023-05-27 10:18:11
245阅读
Stage1为Conv， Stage2~8为MBConv，Stage9为Conv + Pooling + FC第三列Resolution(分辨率)为输入每个Stage时的分辨率(高度和宽度)第四列Channels为每个Stage输出特征矩阵的通道数第五列Layers为将对应的Stage重复多少次第六列stride(步距)为对应每一个Stage中的第一个Operator的步距，其余Operator的
转载
2024-04-01 10:37:40
225阅读
不同特征层特点：低层特征：语义信息较少，目标位置明确高层特征：语义信息丰富，目标位置粗略FPN特点：预测在不同的特征层独立进行，顶层特征上采样和低层特征做融合。算法大致结构如下图所示：一个自底向上的线路(Bottom-up pathway)，一个自顶向下的线路(Top-down pathway)，横向连接(Lateral connection)自底向上： 即网络的前向过程，将不改变feature
转载
2024-06-26 20:07:58
59阅读
RPN(RegionProposal Network)区域生成网络 Faster-RCNN的核心。在这里整理。1.anchors。 思路：1、先通过conv层+pooling层+relu层，可以是vgg，得到feature maps。2、在feature maps上提取对应的图。在第一步基础上，先通过rpn生成region proposals。通过softmax判断anchors（9个框），是fo
SegNet网络结构网络架构EncoderDecoder贴一张我的处理结果吧 刚刚接触深度学习–semantic segmentation相关的研究，对SegNet的网络结构进行了学习，虽然已经有了很多的解释，还是想要自己写一下，将整体结构做一个梳理。博客底部附有参考链接，感谢大神们的分析以及代码的赞助。SegNet是通过对图像中每一个像素点进行分类，识别每一个像素点的类别来实现图像的分割。其思
转载
2024-04-28 22:29:59
83阅读
二、工程配置2.1.fusion app配置新建工程在主页点击加号新建工程-->选择空白模板，再点击创建，创建完成按如下配置：增加子页面在子页面，点击+号，选择底栏模板，页面名称“哔哩哔哩”。注意这里的页面名称需要和代码中进入子页面("哔哩哔哩")中的文字匹配，这也是fa实现子页面跳转的关键。再点击刚建好的子页面，在程序启动事件中增加如下代码：加载网页("https://m.bi
在卷积层、全连接层后加relu激活函数，在池化层后不加激活函数以下的程序模型，把原始论文中的kernel_num即卷积核个数参数减半，实际效果没太影响。构造模型import torch.nn as nn
import torch
class AlexNet(nn.Module):#定义AlexNet这个类，它继承自nn.Module这个父类
def __init__(self, num
转载
2023-12-20 21:43:34
50阅读
一、VGG16的结构层次VGG16总共有16层，13个卷积层和3个全连接层，第一次经过64个卷积核的两次卷积后，采用一次pooling，第二次经过两次128个卷积核卷积后，采用pooling；再经过3次256个卷积核卷积后。采用pooling，再重复两次三个512个卷积核卷积后，再pooling，最后经过三次全连接。1、附上官方的vgg16网络结构图:conv3-64的全称就是convolutio
转载
2023-10-20 20:23:49
95阅读
前言：参考内容来自up：6.1 ResNet网络结构，BN以及迁移学习详解_哔哩哔哩_bilibiliup的代码和ppt：https://github.com/WZMIAOMIAO/deep-learning-for-image-processing一、简介ResNet 网络是在 2015年原论文地址：[1512.03385] Deep Residual Learning for Image Re
转载
2024-02-22 14:19:53
264阅读
name: "vgg_1/8" layer { name: "data" type: "AnnotatedData" top: "data" top: "label" include { phase: TRAIN } transform_param { mirror: true mean_value: 104.0 mean_value:...
转载
2018-06-24 19:31:00
257阅读
2评论
参考目录：目录1 铺垫2 展开3 主体4 高潮5 最后一提1 铺垫在计算机视觉领域，全卷积网络（FCN）是比较有名的图像分割网络，医学图像处理方向，U-Net可以说是一个更加炙手可热的网络，基本上所有的分割问题，我们都会拿U-Net先看一下基本的结果，然后进行“魔改”。U-Net和FCN非常的相似，U-Net比FCN稍晚提出来，但都发表在2015年，和FCN相比，U-Net的第一个特点是完全对称，
转载
2024-04-03 23:34:34
75阅读
13.塔式起重机的套架根据安装位置，可分为外套架和（）。A.组合式套架B.拼装式套架C.内套架D.整体式套架答案：C14.（）指起重机停车面至塔机吊钩允许最高位置的垂直距离。A.最小高度B.额定高度C.最大高度D.起升高度答案：D15.塔式起重机塔身和基础相连接的一节结构体，称之为塔式起重机的（）A.过渡节B.加强节C.标准节D.基础节答案：D16.（）指塔式起重机起吊各稳定运行速度档
