光学，结构光，双目视觉，点云处理，点对特征，三维噪点过滤Interview problem：2、SVM1>SVM与神经网络的关系线性SVM的计算部分和一个单层神经网路一样，都是一个矩阵乘积。SVM的关键在于它的Hinge Loss以及maximum margin的想法，其实这个loss也可以应用在神经网络里。对于处理非线性任务时，SVM和神经网络走了两条不同的路：神经网络通过多个隐层+激活函
入门GAN对抗训练MNIST数据集GAN简介GAN应用GAN的基本结构GAN的基本原理GAN实践激活函数GAN在MNIST数据集上的体现训练结果模型训练损失折线图 GAN简介生成式对抗网络（GAN, Generative Adversarial Networks ）是一种深度学习模型，是近年来复杂分布上无监督学习最具前景的方法之一。模型通过框架中（至少）两个模块：生成模型（Generative
# Softmax是神经网络的重要组成部分
在神经网络中，Softmax函数是一个常用的激活函数，用于将神经网络的输出转换为概率分布。Softmax函数可以将神经网络输出的原始分数转换为概率值，使得输出更易于理解和解释。在本文中，我们将介绍Softmax函数的原理和代码示例，以及它在神经网络中的应用。
## Softmax函数的原理
Softmax函数是一个用于多分类问题的激活函数，其数学表
BP神经网络衰落
1986年，Geoffrey Hinton和David Rumelhart联合在Nature上发表论文，将BP算法用于神经网络模型，实现了对权重参数的快速计算。1990年，Yann LeCun发表文章，采用BP神经网络实现对手写数字的识别，这可以被视作神经网络的“第一个”重大应用。俄罗斯学者Vladmir Vapnik在1963年提出的支撑向量机（Support Vecto
第二门课 改善深层神经网络：超参数调试、正则化以及优化（Improving Deep Neural Networks:Hyperparameter tuning,Regularization and Optimization）2.1Mini-batch梯度下降（Mini-batch gradient descent）优化算法将加快神经网络的运行，加快训练模型。深度学习没有在大数据领域发挥最大的效果
softmax的作用：将多分类的输出值转换为范围在[0, 1]和为1的概率分布soft 反方词 hardhardmax从一组数据中找到最大值softmax为每一个分类提供一个概率值，表示每个分类的可能性。所有分类的概念值之和是1.优点在x轴上一个很小的变化，可以导致y轴上很大的变化，将输出的数值拉开距离。在深度学习中通常使用反向传播求解梯度进而使用梯度下降进行参数更新的过程，而指数函数在求导的时候
原创
2023-06-08 09:47:51
228阅读
1.算法描述聚类就是按照某个特定标准把一个数据集分割成不同的类或簇，使得同一个簇内的数据对象的相似性尽可能大，同时不在同一个簇中的数据对象的差异性也尽可能地大。即聚类后同一类的数据尽可能聚集到一起，不同类数据尽量分离。主要的聚类算法可以划分为如下几类：划分方法、层次方法、基于密度的方法、基于网格的方法以及基于模型的方法。下面主要对k-means聚类算法、凝聚型层次聚类算法、神经网络聚类算法之SOM
1、卷积结构 卷积神经网络结构包括：卷积层，降采样层，全链接层。每一层有多个特征图，每个特征图通过一种卷积滤波器提取输入的一种特征，每个特征图有多个神经元。 卷积层：通过卷积运算，可以使原信号特征增强，并且降低噪音。他的核心是一个对于原图片进行一个卷积运算，每一个卷积运算对应一
转载
2023-07-04 14:51:34
147阅读
目前深度学习和神经网络算法最典型的有两个应用实例，一个是图像识别，一个是语音识别。上一篇文章讲到图形识别的卷积神经网络（CNN）就广泛应用在了图像别方面，而这篇文章就来讲另一个广泛应用于语音识别的算法循环神经网络（RNN）。如果说CNN通过滤波器识别出图片中空间像素的关系，那么RNN就能够在时间序列的数据中找到规律，从而预测未来。所以RNN与CNN最大的不同就是， RNN的神经元输入的不仅是要有当
目录1.VGG网络简介一.VGG概述 二.VGG结构简介2.VGG的优点3.VGG亮点所在计算量感受野1.VGG网络简介一.VGG概述VGGNet是牛津大学视觉几何组(Visual Geometry Group)提出的模型，该模型在2014ImageNet图像分类与定位挑战赛 ILSVRC-2014中取得在分类任务第二，定位任务第一的优异成绩。VGGNet突出的贡献是证明了很小的卷积，通
转载
2023-08-18 15:39:52
100阅读
matlab怎么利用神经网络做预测谷歌人工智能写作项目：小发猫如何利用matlab进行神经网络预测matlab带有神经网络工具箱，可直接调用，建议找本书看看，或者MATLAB论坛找例子常见的神经网络结构。核心调用语句如下：%数据输入%选连样本输入输出数据归一化[inputn,inputps]=mapminmax(input_train);[outputn,outputps]=mapminmax(o
转载
2023-10-31 21:48:32
75阅读
我之前写过全连接神经网络的反向传播算法(BP算法)这篇文章是在我初学机器学习时写的文章，所以这篇文章是根据西瓜书中的推导过程进行讲述的，权重梯度的计算是针对所有参数逐个推导的，而在现实应用中是逐层递推的。求导过程涉及矩阵求导，请自行查询相关文档
目录特征选择特征选择树的生成树的剪枝特征如何选择计算信息增益样本集的基尼值决策树生成三种算法对比决策树剪枝预剪枝(pre-pruning)后剪枝(post-pruning)案例—红酒分类案例—带噪正弦曲线拟合前言本次实验是由python语言为基础学习网站分享给大家 特征选择决策树学习通常包括三个步骤(过程)或称三要素：特征选择、树的生成(构造)、树的剪枝。特征选择选择最优的划分特征与条件
目录1.导包&定义一个简单的网络2.获取网络需要剪枝的模块3.模块剪枝（核心）3.1 随机剪枝weight3.2 L1范数剪枝bias4. 总结 最先进的深度学习技术依赖于难以部署的过度参数化模型。相反，已知生物神经网络使用高效的稀疏连接。为了在不牺牲准确性的情况下减少内存、电池和硬件消耗，通过减少模型中的参数数量来确定压缩模
# 神经网络和遗传算法的结合
## 简介
神经网络和遗传算法是两种常见的机器学习方法，它们分别以不同的方式模拟人类的学习和演化过程。将这两种方法结合起来可以充分发挥它们的优势，提高机器学习的效果。本篇文章将介绍如何将神经网络和遗传算法结合起来，并提供了详细的步骤和代码示例。
## 整体流程
下面是将神经网络和遗传算法结合的整体流程，我们可以用一个表格来展示每个步骤的详细内容。
| 步骤 |
原创
2023-08-26 13:13:58
125阅读
灰色系统的定义社会、经济、农业、工业、生态等许多系统，是根据研究对象所属的领域和范围命名的。在控制理论中，人们常用颜色的深浅形容信息的明确程度，如用“黑”表示未知信息，用“白”表示信息完全明确，用“灰”表示部分信息明确、部分信息不明确。相应地，信息完全明确的系统称为白色系统；信息完全不明确的系统称为黑色系统；部分信息明确、部分信息不明确的系统称为灰色系统。对另一类系统诸如社会系统、农业系统、生态系
卷积神经网络优化卷积神经网络在减少计算量，加快训练和/或inference的速度，减少存储空间等方面的优化主要有以下几种方案：改进网络结构
ResNet网络中的bottleneck结构就是这种方法的典型例子。bottleneck首先通过1x1的卷积层压缩通道数，然后使用3x3的卷积层计算，最后又用1x1的卷积层恢复到原来的通道数（ResNet中通道数压缩比为4）。这种方法大量减少了参数数量，提高了
转载
2023-08-15 10:59:09
76阅读
Softmax及两层神经网络0.说在前面1.Softmax向量化1.1 Softmax梯度推导1.2 Softmax向量化实现2.两层神经网络2.1 反向传播推导2.2 ...
原创
2021-08-03 09:52:56
472阅读
转载
2021-08-03 16:57:00
483阅读
2评论
Random Forest
当我们在阅读Kaggle之类竞赛的相关方案时，GDBT和Random Forest绝对是两个最为常见的机器学习算法。随机森林（Random Forest，RF）属于集成算法中Bagging（Booststrap aggregating）中一个重要的组成部分，Bagging的核心思想在于从总体样本中随机选取一部分进行训练，通过多次这样的结果进行投票获取平均值作为
