0 - 背景 Geoffrey Hinton是深度学习的开创者之一，反向传播等神经网络经典算法发明人，他在去年年底和他的团队发表了两篇论文，介绍了一种全新的神经网络，这种网络基于一种称为胶囊（capsule)的结构，并且还发表了用来训练胶囊网络的囊间动态路由算法。1 - 研究问题 传统CNN存在着缺陷（下面会详细说明），如何解决CNN的不足，Hinton提出了一种对于图像处理更加有效的网络——
转载
2023-11-03 09:41:58
66阅读
0 - 背景 今年来卷积网络在计算机视觉任务上取得的显著成果，但仍然存在一些问题。去年Hinton等人提出了使用动态路由的新型网络结构——胶囊网络来解决卷积网络的不足，该新型结构在手写体识别以及小图像分类上取得了不错的效果。其成功的原因在于它使用了动态路由算法替代了卷积网络中的池化层从而减少了信息的丢失并且允许捕捉数据中的部分-整体关系，同时，使用胶囊作为网络的基本单位替代了神经元，从而使得网络
# 使用 PyTorch 实现胶囊网络
胶囊网络（Capsule Networks，CapsNet）是一种新型的神经网络架构，旨在通过保留空间层次和流形特征来提高深度学习模型在图像处理中的鲁棒性。本文将带你学习如何使用 PyTorch 实现胶囊网络。我们将通过以下步骤进行。
## 流程概览
以下是实现胶囊网络的基本步骤：
| 步骤 | 描述
#!/usr/bin/env pythoncoding: utf-8In[1]:get_ipython().magic(u’matplotlib’)神经网络的典型训练过程如下：1：定义包含一些参数（或者权重）的神经网络模型2：在数据集上迭代，3：通过神经网络处理输入4：计算损失，输出值和正确值的插值大小5：将梯度反向传播会回网络的参数6：更新网络的参数，主要使用如下的更新原则：weight = w
转载
2023-09-04 14:09:33
224阅读
胶囊网络的概念与理解胶囊网络概述人工神经元不应当追求神经元活动中的视角不变性，（使用单一的标量输出来总结一个局部池中的重要特征的检测器的活动）。而应当使用局部的胶囊，这些胶囊对其输入执行一些相当复杂的内部计算。然后将这些计算的结果封装成一个包含信息丰富输出的小向量，每个胶囊学习辨识一个有限的观察条件和变形范围内隐式定义的视觉实体，并输出实体在有限范围内存在的概率及一组实例参数。实例参数可能包含相对
转载
2024-02-02 18:08:51
237阅读
# 使用 PyTorch 实现胶囊网络
胶囊网络（Capsule Network）是由谷歌研究团队提出的一种新型神经网络架构，旨在解决传统卷积神经网络（CNN）在处理空间关系和视角变化时的一些局限性。相较于传统网络，胶囊网络通过胶囊这一结构来捕捉图像中对象的空间层次信息，能够更好地理解图像中的物体和其关系。
## 胶囊网络的基本概念
胶囊网络的基本思想是用胶囊来表示一个特定对象的特征和姿态。
原创
2024-09-10 04:52:13
102阅读
动手实现胶囊网络2017年，Hinton团队提出胶囊网络，首次将标量型网络扩展到矢量，并运用动态路由方式来进行胶囊之间的传递计算。提出的矢量神经元被认为具有保留物体姿态的能力，为神经网络带来了等变性(equivariance)。本着learning by doing的态度，笔者尝试对这一篇论文进行复现。本文不会对其原论文原理和思想有太多解释。在保证工程性和完整性的同时，尽可能记录自己在实现过程中的
作为神经网络的大牛Geoffrey Hinton在17年十月提出了一种新的网络结构，他称之为Capsule，这个词的中文意思是胶囊。在本周，Capsule的代码在github上开源，瞬间成为爆款。 Capsule式的网络结构，和卷积神经网络一样，最初是用来处理视觉问题的，但是也可以应用到其他领域。这篇小文不涉及Capsule神经网络的数学细节，而是关注Capsule网络是如何克服CNN存在的问题的
卷积神经网络在深度学习和计算机视觉应用中都有着举足轻重的地位，可以说CNN是目前深度学习的主流方法了。在CNN这样普遍化的工业应用之后，也许你会思考，我们能否更进一步，构造出性能超越CNN的网络结构？解铃还须系铃人，当年提出CNN的Hinton经过多年研究，在2017年11月提出了著名的胶囊网络(Capsule Nets)，并在mnist数据识别任
转载
2024-01-17 08:14:42
126阅读
作者 | 一轩明月 在使用卷积神经网络（CNNs）解决计算机视觉任务的时候，视角的改变（角度、位置、剪应力等等）很大程度上会造成网络表现的剧烈波动，从而限制了模型的泛化能力。有鉴于此，一般 CNN 网络都会有海量参数，辅以大规模数据和超强算力来勉强应对。于是人们针对性的提出了胶囊网络（Hinton, Krizhevsky, & Wang
转载
2024-01-21 18:37:33
50阅读
CNN现存的问题就是池化提供了局部不变性，但是丢失了位置等信息。 1和4无法检测出来。 使用胶囊作为网络的基本单元。 计算结果封装到一个特征向量中。用来表示可视实体，包括姿态、方位、大小等。动态路由算法代替池化操作，以保留相关的方位信息。特征向量表示可视实体：实体的存在概率具有局部不变性：胶囊覆盖的有限视觉域内的实体变换姿态时，是不变的。 实体的实例化参数具有等变性，由于实例化参数表示实体的姿态坐
转载
2024-01-12 12:15:00
43阅读
目录背景介绍卷积神经网络不足之处位姿胶囊是什么？胶囊的工作原理1.输入向量的矩阵乘法2.输入向量的标量加权3.加权输入向量之和4. 向量到向量的非线性变换囊间动态路由算法(精髓所在）损失函数编码器解码器性能评估 背景介绍Geoffrey Hinton，深度学习的开创者之一，反向传播等神经网络经典算法的发明人，2017年10月发表了论文，介绍了全新的胶囊网络模型，以及相应的囊间动态路由算法
转载
2023-12-21 21:53:53
15阅读
胶囊网络（CapsulesNet）理解:一.回顾CNN: CNN网络层级结构 CNN网络一共有5个层级结构：输入层卷积层激活层池化层全连接FC层1.输入层 与传统神经网络/机器学习一样，模型需要输入的进行预处理操作，常见的3中预处理方式有：去均值归一化PCA/SVD降维等2.卷积层 &
转载
2023-07-27 19:05:26
102阅读
https://m.thepaper.cn/baijiahao_8690116https://www.zhihu.com/question/289666926/answer/2954204725https://zhuanlan.zhihu.com/p/130490034自从ResNet开始，大家逐渐使用步长为2的卷积层替代Size为2的池化层，二者都是对特征图进行下采样的操作。池化层的主要意义（目
转载
2023-10-08 09:14:46
345阅读
Capsule Networks：A Survey基于动态路由的胶囊网络在文本分类上的探索：github地址Investigating Capsule Networks with Dynamic Routing for Text Classification卷积神经网络取得了很大的成功，也很受欢迎。但是，它也不是适合所有的任务，架构上的一些缺陷，导致它并不能很好的完成一些任务。CNNs提取图像中的
转载
2024-06-13 18:47:23
113阅读
基于语义规则的胶囊网络跨域情感分类论文ABSTRACTI. INTRODUCTIONII. RELATED WORKA. CROSS-DOMAIN SENTIMENT CLASSIFICATIONB. CAPSULE NETWORKSIII. OUR METHODOLOGYA. PROBLEM DEFINITIONB. FRAMEWORK OVERVIEWC. OUR METHODOLOGY1)
转载
2024-09-01 17:15:30
51阅读
胶囊网络近日学习深度神经网络了解到胶囊网络，且胶囊网络解决了CNN的一些缺点，通过查阅资料决定按照自己的理解整理一下。1. 简单了解胶囊网络首先胶囊网络（Capsual Network）是NeurIPS 2017的一项工作。作者首先总结了当前卷积神经网络的限制与不足：①CNN通过池化操作获得invariance，有助于分析，但是同时一些局部信息也会丢失。如果数据发生旋转、倾斜，其效果会很差 ②CN
转载
2024-05-07 13:48:15
101阅读
胶囊神经网络背景Geoffrey Hinton是深度学习的开创者之一，反向传播等神经网络经典算法发明人，他和他的团队提出了一种全新的神经网络，这种网络基于一种称为胶囊（capsule)的结构，并且还发表了用来训练胶囊网络的囊间动态路由算法。研究问题传统CNN存在着缺陷（下面会详细说明），如何解决CNN的不足，Hinton提出了一种对于图像处理更加有效的网络——胶囊网络，其综合了CNN的优点的同时，
转载
2024-03-11 20:03:23
76阅读
一、理论学习1、胶囊结构胶囊可以看成一种向量化的神经元。对于单个神经元而言，目前的深度网络中流动的数据均为标量。例如多层感知机的某一个神经元，其输入为若干个标量，输出为一个标量（不考虑批处理）；而对于胶囊而言，每个神经元输入为若干个向量，输出为一个向量（不考虑批处理）。前向传播如下所示：其中Ii为第i个输入（向量），Wi为第i个权值（矩阵），Ui为中间变量（向量），由输入和权值叉乘获得。ci为路由
转载
2023-07-04 09:29:42
254阅读
胶囊网络（Capsule networks, CapsNets）是一种热门的新型神经网络架构，它可能会对深度学习特别是计算机视觉领域产生深远的影响。等一下，难道计算机视觉问题还没有被很好地解决吗？卷积神经网络（Convolutional neural networks, CNNs）已在分类、定位、物体检测、语义分割或实例分割等各种计算机视觉任务中达到了超人类水平，难道我们所有人没有注意到这些难以置
转载
2023-09-12 22:03:32
201阅读
