VAE(Variational Autoenco
CBAM(Convolutional Block Attention Module)是2018年被提出的,不同于ViT的Attention,CBAM是为CNN量身定做的Attention模块,实现简单、效果好,你值得拥有。
上一篇文章介绍了一些常用的学习率衰减策略,下面我们再来看看稍微冷门一点的,包括:LambdaLR、PolynomialLR、Cyuler
在深度学习中,学习率是一个非常重要的超参数,它控制了模型在每次权重更新时的步长。学习率衰减策略是指在训练过程中逐步减
可灵是快手开发的对标SORA的视频生成大模型大模型,toC,主打文生视频和图生视频,已经内测了一段时间,但是审核进
最像人声的AI来了!语音开源天花板ChatTTS火速出圈,3天就斩获9k个star。截至发稿前,已经25.9k个star了。这是专门为对话场景设计的语音
加性注意力(Additive Attention)和点积注意力(Multiplicative Attention,也称为缩放点积注意力,Scaled Dot-Product Attention)是两种常见的注意力机制,用于计算不同序列元素之间的相关性。加性注意力最初用在seq2seq;点积注意力最初用在Transformer。总的来说点积注意力更符合当下的NLP模型,使用的更广泛
Stable Video Diffusion可以将图片变成几秒的视频,从名字就能看出来它使用了Stable Diffusion。现在这个项目还处在早期实验阶段
Transformer有多牛逼不用多说,时隔7年我们再来看看论文原文,看看这篇深刻改变世界的文章都说了什么。当然逐字逐句解读
现在有很多开源的大模型,他们一般都是通用的,这就意味着这些开源大模型在特定任务上可能力不从心。为了适应我们的下游任务,就需要对预训练模型进行微调。全参数微调有两个问题:在新的数据集上训练,会破坏大模型原来的能力,使其泛化能力急剧下降;而且现在的模型参数动辄几十亿上百亿,要执行全参数微调的话,他贵啊
目录写在前面一、整体流程1.输入2.流程3.代码二、GLMBlock1.整体流程2.旋转位置编码3.Attention缩放4.mask的作用5.残差系数6.FFN (又称MLP)三、总结写在前面 大型模型的神秘并不是不可透视的,今天我们以ChatGLM-6B为例,解析一下模型结构和代码。你会发现,大模型结构并没有那么神秘,相反还挺清晰
绝对位置编码和相对位置编码都有局限性,比如绝对位置编码不能直接表征token的相对位置关系;相对位置编码过于复杂,影响效率。于是诞生
卡尔曼滤波器在目标跟踪中的使用
多目标跟踪,在DeepSORT提出之前是SORT算法(SORT论文链接),但是它对身份变换的问题,仅仅采取框和框之间距离的匹配方式,
pytorch转换ONNX再转换TenserRT
霍夫变换(Hough Transform)是图像处理中的一种特征提取技术,它通过一种投票算法检测具有特定形状的物体。import cv2def HoughLinesP_d
Xavier初始化也称为Glorot初始化,因为发明人为Xavier Glorot。Xavier initialization是 Glorot 等人为了解决随机初始化的问题提出来的另
Xavier初始化在ReLU层表现不好,主要原因是relu层会将负数映射到0,影响整体方差。而且Xavier初始化方法适用的激活函数有限:要
# Redis示例配置文件# 注意单位问题:当需要设置内存大小的时候,可以使用类似1k、5GB、4M这样的常见格式:
反向传播的重要性不必多说,手推也是必备基础,大厂面试要求用numpy实现一下BP也是经常的事。下面以一个简单的两层网络为例(简单1、t2):Ground...
backbone使用MobileNetV3,第一层输入filter个数32,输出大小320,alpha=1手绘结构:Keras结构打印:Layer (type) Output Shape Param # Connected to ============================..
众所周知,程序猿在写代码时通常会在网上搜索大量资料,其中大部分是代码段。然而,这项工作常常令人心累身疲,耗费大量eimport tor
1.Tensor中的-1变成0import torchimport numpy as npdata = np.asarray([1, 6, 133, 12, 17, 10, 184, 377, 7347, 2579, 15, 80, 390,
cv2.copyMakeBorder() 如果你想在图像周围创建一个边,就像相框一样,你可以使用 cv2.copyMakeBorder() 函数。这经常在卷积运算或 0 填充时被用到。这个函数包括如下
其实是加法,但是不同的是两幅图像的权重不同,这就会给人一种混 合或者透明的感觉。图像混合的计算公式如下: g (x) = (1 − α) f0 (x) + αf1 (x) 通过修改 α 的值(0 → 1),可以实现非常酷的混合。 现在我们把两幅图混合在一起。第一幅图的权重是 0.7,第二幅图的权重 是 0.3。函数 cv2.addWeighted() 可以按下面的公式对图片进行混合
这里包括的按位操作有:AND,OR,NOT,XOR 等。当我们提取图像的 一部分,选择非矩形 ROI 时这些操作会很有用(下一章你就会明白)。下面的 例子就是教给我们如何改变一幅图的特定区域。 我想把 OpenCV 的标志放到另一幅图像上。如果我使用加法,颜色会改 变,如果使用混合,会得到透明效果,但是我不想要透明。如果
在平时工作中,你可能会遇到需要使用不同颜色空间的情况,但是它们到底有什么区别,分别针对什么场景去使用,这篇文章能给你答案,一定要看到最后,保证能让你了如指掌。目录:RGB 的局限性 HSV 颜色空间 HSL 颜色空间 HSV 应用例子 使用 HSV 图像分割RGB 的局限性RGB 是我们接触最多的颜色空间,由三个通道表示一幅图像,分别为红色(
我们可以利用BGR 转换到 HSV来提取带有某个特定颜色的物体。在 HSV 颜色空间中要比在 BGR 空间 中更容易表示一个特定颜色。在
OpenCV 提供了两个变换函数,cv2.warpAffiffiffine 和 cv2.warpPerspective, 使用这两个函数你可以实现所有类型的变换。cv2.warpAffiffiffine
1.简单阈值与名字一样,这种方法非常简单。但像素值高于阈值时,我们给这个像素 赋予一个新值(可能是白色),否则我们给它
Copyright © 2005-2024 51CTO.COM 版权所有 京ICP证060544号