开启中文智能之旅：探秘超乎想象的 Llama2-Chinese 大模型世界”
Linux和Windows系统下:安装Anaconda、Paddle、tensorflow、pytorch，GPU[cuda、cudnn]、CPU安装教学,以及查看CPU、GPU内存使用情况
深度学习实践篇[17]：模型压缩技术、模型蒸馏算法：Patient-KD、DistilBERT、DynaBERT、TinyBERT 1.模型压缩概述 1.2模型压缩原有 理论上来说，深度神经网络模型越深，非线性程度也就越大，相应的对现实问题的表达能力越强，但相应的代价是，训练成本和模型大小的增加。同时，在部署时，大模型预测速度较低且需要更好的硬件支持。但随着深度学习越来越多的参与到产业中，很多情况
深度学习应用篇-元学习[16]：基于模型的元学习-Learning to Learn优化策略、Meta-Learner LSTM 1.Learning to Learn Learning to Learn by Gradient Descent by Gradient Descent 提出了一种全新的优化策略， 用 LSTM 替代传统优化方法学习一个针对特定任务的优化器。 在机器学习中，通常把优化
深度学习应用篇-元学习[15]：基于度量的元学习：SNAIL、RN、PN、MN 1.Simple Neural Attentive Learner(SNAIL) 元学习可以被定义为一种序列到序列的问题， 在现存的方法中，元学习器的瓶颈是如何去吸收同化利用过去的经验。 注意力机制可以允许在历史中精准摘取某段具体的信息。 Simple Neural Attentive Learner (SNAIL)
深度学习应用篇-元学习[14]：基于优化的元学习-MAML模型、LEO模型、Reptile模型 1.Model-Agnostic Meta-Learning Model-Agnostic Meta-Learning (MAML)： 与模型无关的元学习，可兼容于任何一种采用梯度下降算法的模型。 MAML 通过少量的数据寻找一个合适的初始值范围，从而改变梯度下降的方向， 找到对任务更加敏感的初始参数，
# 深度学习应用篇-元学习[13]：元学习概念、学习期、工作原理、模型分类等 1.元学习概述 1.1元学习概念 元学习 (Meta-Learning) 通常被理解为“学会学习 (Learning-to-Learn)”， 指的是在多个学习阶段改进学习算法的过程。 在基础学习过程中， 内部（或下层/基础）学习算法解决由数据集和目标定义的任务。 在元学习过程中，外部（或上层/元）算法更新内部学习算法，使
深度学习应用篇-推荐系统[12]：经典模型-DeepFM模型、DSSM模型召回排序策略以及和其他模型对比 1.DeepFM模型 1.1.模型简介 CTR预估是目前推荐系统的核心技术，其目标是预估用户点击推荐内容的概率。DeepFM模型包含FM和DNN两部分，FM模型可以抽取low-order（低阶）特征，DNN可以抽取high-order（高阶）特征。低阶特征可以理解为线性的特征组合，高阶特征，可
深度学习应用篇-推荐系统[11]：推荐系统的组成、场景转化指标（pv点击率,uv点击率,曝光点击率）、用户数据指标等评价指标详解 1. 推荐系统介绍 在网络技术不断发展和电子商务规模不断扩大的背景下，商品数量和种类快速增长，用户需要花费大量时间才能找到自己想买的商品，这就是信息超载问题。为了解决这个难题，个性化推荐系统（Recommender System）应运而生。 个性化推荐系统是信息过滤系统
深度学习应用篇-自然语言处理[10]：N-Gram、SimCSE介绍，更多技术：数据增强、智能标注、多分类算法、文本信息抽取、多模态信息抽取、模型压缩算法等 1.N-Gram N-Gram是一种基于统计语言模型的算法。它的基本思想是将文本里面的内容按照字节进行大小为N的滑动窗口操作，形成了长度是N的字节片段序列。每一个字节片段称为gram，对所有gram的出现频度进行统计，并且按照事先设定好的阈值
深度学习应用篇-自然语言处理-命名实体识别[9]：BiLSTM+CRF实现命名实体识别、实体、关系、属性抽取实战项目合集（含智能标注） 1.命名实体识别介绍 **命名实体识别（Named Entity Recoginition, NER）**旨在将一串文本中的实体识别出来，并标注出它所指代的类型，比如人名、地名等等。具体地，根据MUC会议规定，命名实体识别任务包括三个子任务： 实体名：人名、地名
深度学习应用篇-计算机视觉-视频分类[8]：时间偏移模块（TSM）、TimeSformer无卷积视频分类方法、注意力机制 1.时间偏移模块（TSM） 视频流的爆炸性增长为以高精度和低成本执行视频理解任务带来了挑战。传统的2D CNN计算成本低，但无法捕捉视频特有的时间信息；3D CNN可以得到良好的性能，但计算量庞大，部署成本高。作者提出了一种通用且有效的时间偏移模块（TSM），它通过沿时间维度移
深度学习应用篇-计算机视觉-OCR光学字符识别[7]：OCR综述、常用CRNN识别方法、DBNet、CTPN检测方法等、评估指标、应用场景 1.OCR综述 OCR(Optical Character Recognition,光学字符识别)是指对图像进行分析识别处理，获取文字和版面信息的过程，是典型的计算机视觉任务，通常由文本检测和文本识别两个子任务构成。 文字检测：将图片中的文字区域位置检测出来
深度学习应用篇-计算机视觉-语义分割综述[6]：DeepLab系列简介、DeepLabV3深入解读创新点、训练策略、主要贡献 0.DeepLabV3深入解读 1、DeepLab系列简介 1.1.DeepLabV1 作者发现Deep Convolutional Neural Networks (DCNNs) 能够很好的处理的图像级别的分类问题，因为它具有很好的平移不变性（空间细节信息已高度抽象），但
深度学习应用篇-计算机视觉-语义分割综述[5]：FCN、SegNet、Deeplab等分割算法、常用二维三维半立体数据集汇总、前景展望等 语义分割综述（semantic segmentation） 1.初识语义分割 1.1.计算机视觉 目前，计算机视觉是深度学习领域最热门的研究领域之一。从广义上来说，计算机视觉就是要“赋予机器自然视觉的能力”。实际上，计算机视觉本质上就是研究视觉感知问题，其目标就
深度学习应用篇-计算机视觉-目标检测[4]：综述、边界框bounding box、锚框（Anchor box）、交并比、非极大值抑制NMS、SoftNMS 1.目标检测综述 对计算机而言，能够“看到”的是图像被编码之后的数字，它很难理解高层语义概念，比如图像或者视频帧中出现的目标是人还是物体，更无法定位目标出现在图像中哪个区域。目标检测的主要目的是让计算机可以自动识别图片或者视频帧中所有目标的类别
深度学习应用篇-计算机视觉-图像分类[3]：ResNeXt、Res2Net、Swin Transformer、Vision Transformer等模型结构、实现、模型特点详细介绍 1.ResNet 相较于VGG的19层和GoogLeNet的22层，ResNet可以提供18、34、50、101、152甚至更多层的网络，同时获得更好的精度。但是为什么要使用更深层次的网络呢？同时，如果只是网络层数的堆
深度学习应用篇-计算机视觉-图像分类[2]：LeNet、AlexNet、VGG、GoogleNet、DarkNet模型结构、实现、模型特点详细介绍 1.LeNet（1998） LeNet是最早的卷积神经网络之一<sup>[1]</sup>，其被提出用于识别手写数字和机器印刷字符。1998年，Yann LeCun第一次将LeNet卷积神经网络应用到图像分类上，在手写数字识别任
强化学习基础篇[3]：DQN、Actor-Critic详细讲解 1.DQN详解 1.1 DQN网络概述及其创新点 在之前的内容中，我们讲解了Q-learning和Sarsa算法。在这两个算法中，需要用一个Q表格来记录不同状态动作对应的价值，即一个大小为 $[状态个数，动作个数]$ 的二维数组。在一些简单的强化学习环境中，比如迷宫游戏中（图1a），迷宫大小为4*4，因此该游戏存在16个state；而
深度学习应用篇-计算机视觉-图像增广[1]：数据增广、图像混叠、图像剪裁类变化类等详解 一、数据增广 在图像分类任务中，图像数据的增广是一种常用的正则化方法，主要用于增加训练数据集，让数据集尽可能的多样化，使得训练的模型具有更强的泛化能力，常用于数据量不足或者模型参数较多的场景。除了 ImageNet 分类任务标准数据增广方法外，还有8种数据增广方式非常常用，这里对其进行简单的介绍和对比，大家也可
深度学习进阶篇[9]：对抗生成网络GANs综述、代表变体模型、训练策略、GAN在计算机视觉应用和常见数据集介绍，以及前沿问题解决 对抗生成网络（GANs）综述 1、生成与判别 1.1 生成模型 所谓生成模型，就是指可以描述成一个生成数据的模型，属于一种概率模型。维基百科上对其的定义是：在概率统计理论中, 生成模型是指能够随机生成观测数据的模型，尤其是在给定某些隐含参数的条件下。它给观测值和标
深度学习进阶篇-国内预训练模型[6]：ERNIE-Doc、THU-ERNIE、K-Encoder融合文本信息和KG知识；原理和模型结构详解。 1.ERNIE-Doc: A Retrospective Long-Document Modeling Transformer 1.1. ERNIE-Doc简介 经典的Transformer在处理数据时，会将文本数据按照固定长度进行截断，这个看起来比较”武断
后预训练模型时代 1.ERINE 1.1 ERINE简介 ERINE是百度发布一个预训练模型，它通过引入三种级别的Knowledge Masking帮助模型学习语言知识，在多项任务上超越了BERT。在模型结构方面，它采用了Transformer的Encoder部分作为模型主干进行训练，如 图1 (图片来自网络)所示。 图1 Transformer的Encoder部分 关于ERNIE网络结构(Tr
深度学习进阶篇-预训练模型[3]：XLNet、BERT、GPT,ELMO的区别优缺点，模型框架、一些Trick、Transformer Encoder等原理详细讲解 1.XLNet：Generalized Autoregressive Pretraining for Language Understanding 1.1. 从AR和AE模型到XLNet模型 自回归模型（Autoregressive
深度学习进阶篇-预训练模型[2]：Transformer-XL、Longformer、GPT原理、模型结构、应用场景、改进技巧等详细讲解 1.Transformer-XL： Attentive Language Models Beyonds a Fixed-Length Context 1.1. Transformer-XL简介 在正式讨论 Transformer-XL 之前，我们先来看看经典的
深度学习基础入门篇-序列模型：[11]：循环神经网络 RNN、长短时记忆网络LSTM、门控循环单元GRU原理和应用详解 1.循环神经网络 RNN 生活中，我们经常会遇到或者使用一些时序信号，比如自然语言语音，自然语言文本。以自然语言文本为例，完整的一句话中各个字符之间是有时序关系的，各个字符顺序的调换有可能变成语义完全不同的两句话，就像下面这个句子： 张三非常生气，冲动之下打了李四 李四非
深度学习基础入门篇[10]：序列模型-词表示{One-Hot编码、Word Embedding、Word2Vec、词向量的一些有趣应用} 在NLP领域，自然语言通常是指以文本的形式存在，但是计算无法对这些文本数据进行计算，通常需要将这些文本数据转换为一系列的数值进行计算。那么具体怎么做的呢？这里就用到词向量的概念。 一般情况下，当我们拿到文本数据的时候，会先对文本进行分词，然后将每个单词映射为相应
深度学习基础入门篇[9.3]：卷积算子：空洞卷积、分组卷积、可分离卷积、可变性卷积等详细讲解以及应用场景和应用实例剖析 1.空洞卷积（Dilated Convolution） 1.1 空洞卷积提出背景 在像素级预测问题中（比如语义分割，这里以FCN[1]为例进行说明），图像输入到网络中，FCN先如同传统的CNN网络一样对图像做卷积以及池化计算，降低特征图尺寸的同时增大感受野。但是由于图像分割是一种
深度学习基础入门篇[9.2]：卷积之1*1 卷积（残差网络）、2D/3D卷积、转置卷积数学推导、应用实例 1.1*1 卷积 $1\times{1}$ 卷积，与标准卷积完全一样，唯一的特殊点在于卷积核的尺寸是$1\times{1}$ ，也就是不去考虑输入数据局部信息之间的关系，而把关注点放在不同通道间。当输入矩阵的尺寸为$3\times{3}$ ，通道数也为3时，使用4个$1\times{1}$卷积
深度学习基础入门篇[9.1]：卷积之标准卷积：卷积核/特征图/卷积计算、填充、感受视野、多通道输入输出、卷积优势和应用案例讲解 1.卷积提出背景 在全连接网络[1]中，一张图片上的所有像素点会被展开成一个1维向量输入网络，如 图1 所示，28 x 28的输入数据被展开成为784 x 1 的数据作为输入。 图1 全连接网络图 这样往往会存在如下两个问题： 1. 输入数据的空间信息被丢失。 空间上相
Copyright © 2005-2023 51CTO.COM 版权所有 京ICP证060544号
![Linux和Windows系统下:安装Anaconda、Paddle、tensorflow、pytorch，GPU[cuda、cudnn]、CPU安装教学,以及查看CPU、GPU内存使用情况](https://s2.51cto.com/images/blog/202307/15232054_64b2b956e0cfd8510.jpg?x-oss-process=image/resize,m_fixed,w_116,h_70/ignore-error,1)
![深度学习应用篇-推荐系统[12]：经典模型-DeepFM模型、DSSM模型召回排序策略以及和其他模型对比](https://s2.51cto.com/images/blog/202306/13104056_6487d73874ff495304.png?x-oss-process=image/resize,m_fixed,w_116,h_70/ignore-error,1)
![深度学习应用篇-推荐系统[11]：推荐系统的组成、场景转化指标（pv点击率,uv点击率,曝光点击率）、用户数据指标等评价指标详解](https://s2.51cto.com/images/blog/202306/13104014_6487d70e53c3888197.png?x-oss-process=image/resize,m_fixed,w_116,h_70/ignore-error,1)
![深度学习应用篇-自然语言处理-命名实体识别[9]：BiLSTM+CRF实现命名实体识别、实体、关系、属性抽取实战项目合集（含智能标注）](https://s2.51cto.com/images/blog/202306/12104239_6486861fab8d674878.png?x-oss-process=image/resize,m_fixed,w_116,h_70/ignore-error,1)
![深度学习应用篇-计算机视觉-语义分割综述[5]：FCN、SegNet、Deeplab等分割算法、常用二维三维半立体数据集汇总、前景展望等](https://s2.51cto.com/images/blog/202306/09092303_64827ef7dcf8b74357.png?x-oss-process=image/resize,m_fixed,w_116,h_70/ignore-error,1)
