最近使用带有SE block的网络在pytorch框架下做训练。training loss 随着epoch增多不断下降，但是突然到某一个epoch出现loss为nan的情况，但是两三个epoch之后，loss竟然又恢复正常，而且下降了。 这几篇博客是我debug的借鉴，真的非常有用。 这篇介绍了出现nan的基本解决思路。 这篇介绍了为什么在多层dense layer之后某一层dense laye
转载
2023-08-14 09:00:15
207阅读
首先我们采用一个简单的小游戏进行神经网络的初步学习游戏的简单介绍——从1开始数数，如果是3的倍数输出fizz，是5的倍数输出buzz，是15的倍数输出fizzbuzz下面这串代码我们将文件名命名为fizz_buzz，存放在chapter2文件夹下，在接下来的神经网络学习过程中，我们需要用到# 首先我们对所数的数（i）据进行编码
def fizz_buzz_encode(i):
转载
2023-10-18 18:52:39
47阅读
目录一.卷积神经网络（CNN）1.神经网络2.卷积神经网络 二.卷积神经网络的结构1.卷积层--CONV（convolutional layer）2.池化层--POOL（pooling layer）2.1最大池化层2.2池化层的具体作用3.全连接层--FC（fully-connected layer）三.卷积神经网络的其他操作1.激活函数2.BN操作（Batch Normalizatio
转载
2023-10-23 19:46:52
56阅读
利用神经网络重建三维数字孪生从点云重建光滑表面是创建真实世界对象和场景的数字孪生的基本步骤。 表面重建算法出现在各种应用中，例如工业模拟、视频游戏开发、建筑设计、医学成像和机器人技术。神经核表面重建 (NKSR) 是新的 NVIDIA 算法，用于从大型点云重建高保真表面。 NKSR 可以在几秒钟内处理数百万个点，并在广泛的基准测试中达到最先进的质量。 NKSR 是传统泊松曲面重建的绝佳替代品，可提
转载
2023-08-12 11:32:02
148阅读
目录一、L2正则化二、dropout正则化三、数值稳定性 & 模型初始化数值稳定性模型初始化一、L2正则化损失函数梯度 非正则化部分反向传播的梯度（from backprop）+简单来说，添加了正则项后，损失函数计算梯度下降时就要同时满足原损失函数和正则项的权重同时等于0，压缩了解的空间，即对权重w的可能的取值做了限制。权重衰减weight decay，并不是一个规范的定义，而只
AClassification Problem1. SYSTEM: ATwo-Nested-Spirals Problem Two-Nest-Spiralsproblem is a well-known classification benchmark problem. It contains twonested spirals, ‘o’ and ‘+
转载
2023-08-15 10:51:53
23阅读
题目CryoDRGN: reconstruction of heterogeneous cryo-EM structures using neural networks （使用神经网络从异质性的单颗粒数据集中重建三维密度图。)作者： Ellen D，Zhong (MIT)该算法首先在人工智能的会议上发表，后拓展到Nature Methods上面。会议论文指路 期刊论文指路 GitHub指路摘要单颗
转载
2023-10-19 06:04:05
201阅读
紧接着上一节讲的卷积内容，今天我们先用tensorfloww实现一个卷积操作： 上面的图中我们可以看到，我们先用一张图片进行输入，也就是input的值，后面要给出图片的参数；filter也就是我们的滤波器(卷积核).tf.nn.conv2d就是我们的卷积层函数，这个函数有四个参数，第一维为输入图像，第二维为卷积层权值，第三维为不同维度的步长（在CNN中，第一维、第四维固定为1），第四维填充方式（S
CNN（Convolutional Neural Network）卷积神经网络一、引入 解决图像分类问题，假设图像是固定大小的，并且是一个Tensor（张量：超过二维的矩阵），我们考虑将这个Tensor变为一个多维向量作为网络的输入，同时使用全连接的方式，这样的结果是参数会非常的多，从而产生过拟合的情况。 这个时候，就要根据图像的特性去对网络进行调整，人类识别物体时大多数情况是根据物体特
转载
2023-08-02 16:25:26
110阅读
可学习的D-AMP算法：基于压缩图像恢复准则的神经网络 Christopher A. Metzler； Ali Mousavi； Richard G. Baraniuk摘要 压缩图像恢复是一个极具挑战的问题，它要求快而精确的算法。近年来，神经网络技术被应用于该问题并得到了有效的结果，通过使用大量的并行CPU处理数据和大量的数据，运行速度可以比现有的技术快几个数量级。然而这些方法大部分都是没有规
Attention是一种机制，旨在提高编码器-解码器RNN在机器翻译上的性能。Encoder-Decoder Model该模型由两个子模型组成：编码器和解码器。编码器：编码器负责逐步执行输入时间步长，并将整个序列编码为称为上下文向量的固定长度向量。解码器：解码器负责在从上下文向量中读取时逐步完成输出时间步长。我们提出了一种新颖的神经网络体系结构，该体系结构学习将可变长度序列编码为固定长度向量表示形
1、矢量化编程 当使用学习算法时，一段更快的代码通常意味着项目进展更快。例如，如果你的学习算法需要花费20分钟运行完成，这意味着你每个小时能“尝试”3个新主意。但是假如你的程序需要20个小时来运行，这意味着你一天只能“尝试”一个新主意，因为你需要花费这么长时间来等待程序的反馈。对于后者，假如你可以提升代码的效率让其只需要运行10个小时，那么你的效率差不多提升一倍。 矢量化编程是提高算法速度的一种有
一、从零搭建神经网络1、利用numpy来搭建网络模型import numpy as np
import torch
"""
热身: 用numpy实现两层神经网络
一个全连接ReLU神经网络，一个隐藏层，没有bias。用来从x预测y，使用L2 Loss。
这一实现完全使用numpy来计算前向神经网络，loss，和反向传播。
numpy ndarray是一个普通的n维array。它不知道任何关于深度
转载
2023-10-30 23:20:34
38阅读
本文是《深度学习进阶:自然语言处理》、《神经网络与深度学习》和《动手学深度学习》的读书笔记。本文将介绍基于Numpy的循环神经网络的前向传播和反向传播实现，包括RNN和LSTM。一、概述1.1 循环神经网络(RNN)循环神经网络(Recurrent Neural Networks, RNN)是一类具有短期记忆能力的神经网络，其特点是在处理序列数据时，能够记录历史信息。RNN已广泛地用于序列相关的任
1. 项目介绍1.1 项目的背景该项目是为了研究基于深度卷积神经网络的图像去噪算法，是利用DnCNN模型，但是为了比较该算法的效果，另外实现了四种传统的图像去噪算法(均值滤波、中值滤波、非局部均值滤波NLM和三维块匹配滤波BM3D)作为对照组。1.2 噪声强度和类型项目中实现五种算法对噪声强度为10,15,20...60,65,70的高斯白噪声进行处理。1.3 评价指标图像去噪后，如何评估算法去噪
本文主要介绍了2021年最新的图神经网络综述，是入坑的最佳材料。 图神经网络已经成为深度学习领域最炙手可热的方向之一了，也是各大互联网公司非常欢迎的方向。A Survey on Heterogeneous Graph Embedding 本文来自图挖掘大牛Philip S. Yu老师和在异质图领域深耕的北邮C
转载
2023-08-11 17:52:23
102阅读
如何解决ps2021 新版 AI神经滤镜不能用?网上买正版，更新下就好了，盗版的都会有各种这样的问题。ps2021神经AI滤镜是需简要上传云端，由Adobe官方服务器人工智能运算的。Ps2021版本新增了Ai神经元滤镜，它不是与软件一起安装的，只能在线调用，破解版的ps刚发布不久是可以使用的，后来就不能使用了，目前为止没有好的办法，建议购买正版软件。PS2021版本的AI神经网络滤镜需要在服务端运
转载
2023-09-18 17:47:12
0阅读
来啦，备受期待的ps神经滤镜终于可以安装使用了，随着最新Photoshop v24.4.1更新上线，黑科技神经滤镜功能终于可以随心所欲的使用啦，很多小伙伴耳闻的比较多，具体功能强大之处还有些许的不了解，今天来揭秘分享一下子，快来围观吧~神经滤镜面板有两个标签，其中“所有筛选器”包括人像、创意、颜色、摄影和恢复5个主题内容、12个滤镜。点开另一个标签“即将推出”，可见有4个滤镜会在近期问世。Phot
转载
2023-09-18 18:30:24
105阅读
最近在关注一些图像图像重建的方法，正好在机器之心上看到了一篇名为——Deep Image Prior的推送，讲的是一种比较有意思的（不需要进行学习），进行图像重建、超分辨率以及去噪的方法。这虽然是一篇一年前的文章，但在现在仍然有实用的前景。项目主页：https://dmitryulyanov.github.io/deep_image_prior。首先我们看一看它能做的事情（下图一张图就能够概括）：
一、前言 最近一直在研究深度学习，联想起之前所学，感叹数学是一门朴素而神奇的科学。F＝G*m1*m2/r²万有引力描述了宇宙星河运转的规律，E=mc²描述了恒星发光的奥秘，V=H*d哈勃定律描述了宇宙膨胀的奥秘，自然界的大部分现象和规律都可以用数学函数来描述，也就是可以求得一个函数。 神经网络（《简单又复杂的人工神经网络》）可
