目录0. 前言1. 神经网络模型2. 前向传播（forward propagation）3. 神经网络中的多分类学习完吴恩达老师机器学习课程的神经网络，简单的做个笔记。文中部分描述属于个人消化后的理解，仅供参考。如果这篇文章对你有一点小小的帮助，请给个关注喔~我会非常开心的~0. 前言神经网络（Neural Network），是通过模拟生物大脑的突
1. 神经网络
这是一个常见的神经网络的图：
这是一个常见的三层神经网络的基本构成，Layer L1是输入层，Layer L2是隐含层，Layer L3是隐含层，当我们输入x1,x2,x3等数据时，通过隐含层的计算、转换，输出你的期望，当你的输入和输出是一样的时候，成为自编码模型（Auto-Encoder）,而当你输入和输出是不一致的时候，也就是我们常说的人工神
什么是神经网络？在生物学中，多个神经元之间会通过轴突传递信息，神经元收到信息后会做出某种反应或者加工处理信息再传给其他神经元。利用这种机理，我们可以创造出人工神经网络，也就是机器学习中的神经网络，但机器学习中的神经网络还是有所不同的，在机器学习中，神经网络大概会呈现出下面这种形状，它包含输入层（Input Layer）、输出层（Out Layer）、隐藏层（Hidden Layer）。 根据我的个
转载
2023-09-05 19:00:07
0阅读
文章目录前言一、神经网络的构造与训练1.构建网络2.编译网络3.训练网络二、举个栗子： 前言或许你差不多理解神经网络，知道神经网络可以理解为一个网，每个网是由多个层堆叠连接起来的。但却没有实操训练过一个自己的网络，下面将结合代码讲解如何训练一个简单的神经网络。一、神经网络的构造与训练神经网络的核心组件是层（layer），它是一种数据处理模块，你可以将它看成数据过滤器。 进去一些数据，出来
转载
2023-07-18 11:06:41
90阅读
深度学习中的embedding1.简介在整个深度学习框架中都是十分重要的“基本操作”，不论是NLP（Natural Language Processing，自然语言处理）、搜索排序，还是推荐系统，或是CTR（Click-Through-Rate）模型，Embedding都扮演着重要的角色。2.介绍embedding的应用方式和如何计算embedding（通俗易懂）基础知识了解怎么把词表示出来即如何
转载
2023-07-15 09:47:38
59阅读
@创建于：20210714 @修改于：20210714 文章目录1 Embedding介绍1.1 embedding 有3 个主要目的1.2 图形化解释2 包模块、方法介绍3 Keras实现Embedding4 参考链接 1 Embedding介绍Embedding 是一个将离散变量转为连续向量表示的一个方式。在神经网络中，embedding 是非常有用的，因为它不光可以减少离散变量的空间维数，同
转载
2023-08-10 09:17:05
61阅读
参考这篇文章：https://www.jianshu.com/p/e8986d0ff4ff《详解TF中的Embedding操作！》 什么是embedding？embedding，我们可以简单的理解为，将一个特征转换为一个向量。对于离散特征，我们一般的做法是将其转换为one-hot，但对于itemid这种离散特征，转换成one-hot之后维度非常高，但里面只有一个是1，其余都为0。这种情况
转载
2023-08-12 10:48:29
102阅读
1.神经网络本文主要介绍神经网络定义，前向神经网络的推导，神经网络的特点等。2.神经网络的定义人工神经网络（Artificial Neural Networks，简写为ANNs）也简称为神经网络（NNs）或称作连接模型（Connection Model），它是一种模仿动物神经网络行为特征，进行分布式并行信息处理的算法数学模型。这种网络依靠系统的复杂程度，通过调整内部大量节点之间相互连接的关系，从而
转载
2023-08-31 12:21:29
159阅读
一、神经网络中的网络层在这里，我们将学习神经网络中的层，只要一层的原理学会了，更复杂的大型神经网络便不成问题。 这是一个由三个神经元组成的隐藏层，我们将单个神经元放大来看，进行一个具体的分析 我们将数据输入，在神经元里面进行计算，第一个神经元经过计算输出值，第二个第三个同理，我们可以把每一个神经元看作是一个函数计算，经过计算后，三个神经元的计算结果组成了a向量，传输
人工神经网络基础1.人工神经网络（ANN）及人工智能（AI）智能（Intelligence） 是个体有目的的行为，合理的思维以及有效的适应环境的综合能力。或者说智能是个体认识客观事物和运用知识解决问题的能力。人工智能（Artificial Intelligence，AI） 最初在1956年被引入，它主要研究怎样让计算机模仿人脑从事准理、设计、思考、学习等思维活动，以解决和处理较复杂的问题。简单的讲
转载
2023-07-07 21:52:42
0阅读
目录一、attention模块二、三层全连接网络三、Logistic Regression四、FM五、手写Kmeans六、word2vec 编解码层七、Swing八、CNN网络九、Transformer代码一、attention模块def attention(queries, keys, keys_length):
'''
queries: [B, H]
keys:
转载
2023-08-22 23:17:21
40阅读
目录1. LeNet简介2. LeNet实现3. 实验结果Reference学习深度学习已经有小一年的时间，看了很多视频和书本内容，学习了很多代码，可始终感觉认知不够扎实。结合李沐老师的视频课程，我决定在本博客中介绍下复现LeNet的过程。代码基于pycharm2021平台，选用python3.8版本+pytorch1.12.1+cu116。基本上把各个包的版本都刷到最新版本，以方便后续的网络升级
转载
2023-09-20 15:49:58
43阅读
Embedding在数学上是一个函数，将一个空间的点映射到另一个空间，通常是从高维抽象的空间映射到低维的具象空间。Embedding的作用：将高维数据转换到低维利于算法的处理；同时解决one-hot向量长度随样本的变化而变化，以及无法表示两个实体之间的相关性这一问题。Graph Embedding的分类：1.DeepWalk 借鉴了word2vec的思想，词嵌入是对一个句子的单词序列进行分析，而
转载
2023-09-15 12:57:30
136阅读
RNN1.分词tokenization：分词，每个词语是一个token分词方法：把句子转化为词语 比如我爱深度学习=》{我， 爱，深度学习}把句子转化为单个字 比如我爱深度学习=》{我，爱，深，度，学，习}把连续多个字作为一个词2.N-garm表示方法分词的第三种方法，N-garm，一组一组的词语，其中N表示能够被一起使用的词语数量。 在传统的机器学习中，用N-gram往往会取得很好的效果，但是在
自己之前学习了一波word2vec的词向量&&神经网络的embedding，关于这2者的原理和实践，可以参看我之前的博客：利用神经网络的embedding层处理类别特征（一）理解word2vec：原理篇（二）理解word2vec：实践篇这篇文章的主题是分析word2vec的词向量&&神经网络的embedding层的关系，以及在实际中，如何同时应用它们。第一章主要介绍
在设计神经网络时，当训练出的模型表现出欠拟合时，我们通常会尝试增加神经网络的层数或者某些层的神经元数目。这也被成为增加神经网络的容量（Capacity）。一直以来，我都认为这个容量指的是神经网络的大小，也就是神经元的个数。然而在读Deep Learning Book的第五章时，发现以前的理解是有问题的。这个容量其实应该是指一个神经网络的假设空间。假设空间假设空间（hypothesis
转载
2023-07-25 09:38:32
77阅读
在学习自然语言处理过程中，目前使用的神经网络模型中大都有embedding层。embedding层本质是一个降维的过程，在自然语言处理过程中，如果使用的是one-hot编码，则每个word的向量的shape是[vocab_size]。one-hot编码的缺点是：word的向量表示并不能反应两个字在语言空间中的距离。word2vec提出之后，就是将word的表示从稀疏的表示变为低维稠密空间向量的表示
1. 为什么要进行实例探究 本周课程将主要介绍几个典型的CNN案例。通过对具体CNN模型及案例的研究，来帮助我们理解知识并训练实际的模型。典型的CNN模型包括：LeNet-5AlexNetVGG除了这些性能良好的CNN模型之外，我们还会介绍Residual Network（ResNet）。其特点是可以构建很深很深的神经网络（目前最深的好像有152层）。另外，还会介绍Inception Neural
转载
2023-09-06 09:59:10
114阅读
1. LSTM与RNN的区别1.1 RNN 网络结构图 1（上）为逻辑结构图，（下）为实际细节图可以看到，RNN的结构比较简单，值得关注的点就是相邻两个时刻的神经细胞单元会相互共享隐藏层的信息。但是RNN很容易在时间序列过长的时候产生梯度爆炸和梯度消失的问题。大家如果想详细了解RNN的相关结构解释和计算，可以参考我的上一篇文章RNN网络详解，在【RNN网络详解】一文中，我详细分析了RNN分享权重的
转载
2023-06-18 15:23:05
223阅读
作者：纪厚业，北京邮电大学，智源 AAAI预讲会讲者近年来，图神经网络（GNN，Graph Neural Network）逐渐成为人工智能领域的一大热门领域。GNN的一大优势是能够使各个领域（不仅仅是计算机）采用深度学习技术变得更加友好，因为它是诞生在一种更为广泛的数据形式之上，不再像图像一样要求形式规整（CNN系列的强项），也不再要求数据像序列数据一样必须得有前后关系（RNN系列的强项）。只要数
转载
2023-09-20 15:50:12
70阅读
