前言我的研究方向不是计算机视觉，这段时间开始的CV学习纯粹是出于兴趣，在此记录下自己的学习历程，也方便感兴趣的同伴一起学习。 我计划的学习入门步骤是这样的： 第一步 学会图像数据的预处理，常见的两个工具是Matlab和Opencv，这里我计划先学习Opencv。因为我比较习惯c++和c#的代码，所以更偏向于从c++版本的opencv开始学起。主要是C++预研编写，包含了500多个用于图像/视频处理
转载
2024-05-11 17:51:59
164阅读
一、基本步骤1.利用python爬虫爬取（也可以手动收集）图片集，分为pos（正相关，要识别的）和neg（负相关，里面没有pos，一般是背景之类的无关图）一般1：3即可，笔主这里准备500：1500.爬虫随便搜一个就行，忘了从哪个大佬那里copy的了（仅供参考侵删） 里面 地面 是搜索词，替换即可，倒数第三行改一下路径即可。import time
import requests
import ur
转载
2024-04-08 11:30:33
287阅读
OpenCV训练分类器制作xml文档 (2011-08-25 15:50:06)转载▼标签：杂谈分类： 学习我的问题：有了opencv自带的那些xml人脸检测文档，我们就可以用cvLoad（）这个函数加载他们，让他们对我们的人脸进行检测，但是，现在生活中的计算机视觉并不远远是检测人脸，还有很多物品需要识别，所以，能不能自己做个xml的检测文档，用它来检测自己需要的东西呢？例如，检测一个可乐瓶！
转载
2024-02-22 13:33:43
72阅读
OpenCV调用TensorFlow预训练模型 强大OpenCV从自OpenCV 3.1版以来，dnn模块一直是opencv_contrib库的一部分，在3.3版中，它被提到了主仓库中。新版OpenCV dnn模块目前支持Caffe、TensorFlow、Torch、PyTorch等深度学习框架。另外，新版本中使用预训练深度学习模型的API同时兼容C++和P
原创
2023-01-01 11:05:50
957阅读
是 pytorch 中一个很好用的包，主要由 3 个子包，分别是 torchvision.datasets，torchvision.models 和 torchvision.transforms
参考官网：http://pytorch.org/docs/master/torchvision/index.html
代码：https://github.com/pytorch/vision/tree/m
转载
2023-06-15 17:10:54
359阅读
文章目录预训练模型使用的场景预训练模型的方法实现预训练模型的加载（pytorch）直接加载预训练模型修改某一层加载部分预训练模型 预训练模型使用的场景声明：该部分有部分参考，若有侵权，请及时告知简单来说，预训练模型(pre-trained model)是前人为了解决类似问题所创造出来的模型。你在解决问题的时候，不用从零开始训练一个新模型，可以从在类似问题中训练过的模型入手。场景一：数据集小，数据
转载
2023-11-24 01:30:34
72阅读
1.BERT简介 BERT是一种预训练语言模型（pre-trained language model, PLM），其全称是Bidirectional Encoder Representations from Transformers。下面从语言模型和预训练开始展开对预训练语言模型BERT的介绍。1-1 语
转载
2023-10-09 22:43:04
257阅读
1、加载预训练模型的好处2、标准化，归一化2.1标准化作用2.2什么是标准化2.3标准化过程--去均值--除方差 1、加载预训练模型的好处目前深度学习神经网络中，训练过程是基于梯度下降法来进行参数优化的。通过一步步的迭代，来求得最小的损失函数和最优的模型权重。 进行梯度下降时会给每一个参数赋一个初始值。一般我们希望数据和参数的均值都为0，输入和输出数据的方差一致。在实际应用中，参数服从高斯分布或
转载
2023-07-07 15:01:41
426阅读
1什么是迁移学习？ 神经网络需要用数据来训练，它从数据中获得信息，进而把它们转换成相应的权重。这些权重能够被提取出来，迁移到其他的神经网络中，我们“迁移”了这些学来的特征，就不需要从零开始训练一个神经网络了。2. 什么是预训练模型？简单来说，预训练模型(pre-trained model)是前人为了解决类似问题所创造出来的模型。你在解决问题的时候，不用从零开始训练一个新模型，
转载
2024-04-29 11:48:04
50阅读
摘要：本文介绍了GPT模型的基本概念，讲解了GPT模型所需要的基本知识，包括词嵌入，自注意力机制，Transformer框架和Softmax函数，同时还详细阐述了GPT模型的数学原理和实现过程。对于人们了解并掌握预训练模型具有较好的帮助作用。一、预训练模型简介预训练模型是一个通过大量数据上进行训练并被保存下来的网络。可以将其通俗的理解为前人为了解决类似问题所创造出来的一个模型，有了前人的模型，当我
转载
2024-03-25 20:41:10
176阅读
文章目录一、前言二、预训练+微调1.预训练2.微调3.Pytroch实现三、Rethinking ImageNet Pre-training论文笔记参考文献 一、前言近期在阅读何凯明大神的Rethinking ImageNet Pre-training论文，论文中对比了深度学习提分小trick——pre-training和随机初始化之间对于任务性能的差别，实验证明预训练仅提高收敛速度但不能提高模
转载
2024-06-04 07:07:47
440阅读
优秀了预训练模型就是一些人用某个较大的数据集训练好的模型(这种模型往往比较大，训练需要大量的内存资源)，你可以用这些预训练模型用到类似的数据集上进行模型微调。就比如自然语言处理中的bert。1 预训练模型由来预训练模型是深度学习架构，已经过训练以执行大量数据上的特定任务（例如，识别图片中的分类问题）。这种训练不容易执行，并且通常需要大量资源，超出许多可用于深度学习模型的人可用的资源，...
原创
2021-06-15 14:55:46
1231阅读
自回归语言模型（Autoregressive LM）在ELMO／BERT出来之前，大家通常讲的语言模型其实是根据上文内容预测下一个可能跟随的单词，就是常说的自左向右的语言模型任务，或者反过来也行，就是根据下文预测前面的单词，这种类型的LM被称为自回归语言模型。自编码语言模型（Autoencoder LM）自回归语言模型只能根据上文预测下一个单词，或者反过来，只能根据下文预测前面一个单词。相比而言，
转载
2024-01-26 06:55:01
212阅读
1、加载预训练模型调用网上的预训练参数：如果在下载文件夹里没有相应的预训练模型参数文件(.pth)，则会直接从网上下载。import torchvision.models as models
#resnet
model = models.ResNet(pretrained=True)
model = models.resnet18(pretrained=True)
model = models
转载
2023-08-30 15:04:10
481阅读
目录RNNLSTM 参考一个很全的总结： 预训练语言模型的前世今生 - 从Word Embedding到BERT RNN部分参考了这个： 循环神经网络 LSTM部分参考了这两个： LSTM以及三重门，遗忘门，输入门，输出门 LSTM如何解决梯度消失与梯度爆炸 这儿对预训练模型又有了一点理解，也是之前在做VGG实验时在困惑的点，预训练模型在使用时可以有两种做法：一种是Frozen，将参数锁住
转载
2024-03-26 11:03:22
106阅读
一、什么是预训练？目前随着数据量爆炸式的增长，靠人工去标注更多数据是非常昂贵，并且也不太现实的。因此预训练的方式就出现了，也逐渐成为了一种主流的方法。那到底什么是预训练呢？简单地说，预训练就是：“使用尽可能多的训练数据，从中提取出尽可能多的共性特征，从而能让模型对特定任务的学习负担变轻。”预训练将学习分成了两步：1）首先将大量低成本收集的训练数据放在一起，经过某种预训方法去学习其中的共性知识 ；2
转载
2023-12-17 17:11:47
182阅读
优秀了预训练模型就是一些人用某个较大的数据集训练好的模型(这种模型往往比较大，训练需要大量的内存资源)·
原创
2021-07-31 11:07:16
10000+阅读
优秀了预训练模型就是一些人用某个较大的数据集训练好的模型(这种模型往往比较大，训练需要
原创
2022-03-02 09:32:44
820阅读
Datawhale干货 作者：王奥迪，单位：中国移动云能力中心2022年下半年开始，涌现出一大批“大模型”的优秀应用，其中比较出圈的当属AI作画与ChatGPT，刷爆了各类社交平台，其让人惊艳的效果，让AI以一个鲜明的姿态，站到了广大民众面前，让不懂AI的人也能直观地体会到AI的强大。大模型即大规模预训练模型，本文就和大家聊一聊 预训练模型的起源与发展。1. 前言
转载
2024-03-06 07:57:47
645阅读
论文标题：Improving Language Understanding by Generative Pre-Training论文链接：https://www.cs.ubc.ca/~amuham01/LING530/papers/radford2018improving.pdf一、概述从无标注文本中高效学习的能力对于缓解对监督学习的依赖是很关键的。很多自然语言处理任务依赖于大量的标注数据，对于这
转载
2024-05-06 14:51:35
120阅读
