序言本文是针对笔者前一阵子写的博客【数值分析×机器学习】以SVD的分解形式进行深度神经网络的训练基于的一个实现流程，以及对在实现过程中存在的问题与解决做一个记录。大致的思想是将深度神经网络中各个网络层（主要指全连接层与卷积层）对应的权重矩阵进行低秩分解，以简化模型复杂度以及提升模型优化的收敛速度，有兴趣地可以去看一下链接中对应的论文，笔者阅读后受益匪浅：英文标题：Learning Low-rank
转载
2024-07-05 21:10:42
136阅读
'''
GAN基础模型搭建
利用MNIST手写字母数据集进行基础GAN程序编写
'''
import torch
import torch.nn as nn
import torch.nn.functional as F
import torch.utils.data as data
import torch.optim as optim
import numpy as np
import ma
深度学习的一般性流程：1. 构建网络模型结构2. 选择损失函数3. 选择优化器进行训练梯度下降法(gradient descent)是一个最优化算法，常用于机器学习和人工智能当中用来递归性地逼近最小偏差模型。torch.optim.SGD 是随机梯度下降的优化函数梯度下降（Gradient Descent）方法变种：(full) Batch gradient descent : 使用全部数据集来计
神经网络在对图像识别的实际应用过程中，经常会遇到这样的问题：需要识别的目标只是图片的一小部分；目标区域大小不一；目标的视角有差异或者是扭曲的。这些情形如果不做任何处理，直接使用样本，对于CNN模型的效果就会造成一定消极影响。比如，对于手写文字的识别，我们都希望输入的样本是按文字切割好的、大小一致的、清晰而工整的。所以对于上述问题，我们常常会在模型训练之前先对样本做一定的预处理，但这些处理往往是复杂
碎碎念问题是这样的，今天在看鱼书（《深度学习进阶：自然语言处理》）。看到SVD分解：使用奇异值分解（singular value decomposition，SVD）对矩阵进行降维。然后我手写了一下书里的代码，结果和书中的输出不一样。本来我想越过这个问题不管它，因为书里还用matplotlib画了散点图，我想我画一下看看和人家结果一不一样不就行了嘛。结果我画图也出bug了。在不能使用图的情况下我只
转载
2024-10-05 17:07:40
18阅读
//通过context对象获取私有目录，/data/data/packagename/filse
context.getFileDir().getPath()存储到SD卡,获取SD的大小及可用空间 （重点）使用Sdcard注意事项：
1.权限问题：
<uses-permission android:name="android.permission.WRITE_EXTERN
转载
2023-11-10 12:40:46
303阅读
目录 一. 张量 二. 变量三. 数据集的读取四. nn.Mudule（模组）五. 优化1. 一阶优化算法2. 二阶优化算法六. 模型的保存和加载一. 张量PyTorch里面最基本的操作对象就是Tensor，Tensor是张量的英文，表示的是一个多维的矩阵，比如零维就是一个点，一维就是向量，二维就是一般的矩阵，多维就相当于一个多维的数组，这和numpy是对应的，而且PyTorc
转载
2024-04-16 10:13:08
28阅读
sd 用哪个pytorch 的描述
在当今深度学习快速发展的时代，选择合适的框架变得至关重要。Stable Diffusion（SD）作为一个强大的生成模型，它的实现和运用很大程度上依赖于底层框架。许多开发者在选择PyTorch时，会遇到“sd 用哪个pytorch”的问题。这不仅涉及到模型的性能，还关系到开发的效率和可维护性。因此，理解在这个背景下如何选择适合的PyTorch版本显得尤为重要。
1.1 Confluence简介 Confluence是一个专业的企业知识管理与协同软件，也可以用于构建企业wiki。使用简单，但它强大的编辑和站点管理特征能够帮助团队成员之间共享信息、文档协作、集体讨论，信息推送。 Confluence为团队提供一个协作环境。在这里，团队成员齐心协力，各擅其能，协同地编写文档和管理项目。从此打破不同团队、不同部门以及个人之间
转载
2024-06-12 19:19:19
85阅读
不同类型的优化器随机梯度下降法(SGD) 如果我们的样本非常大，比如数百万到数亿，那么计算量异常巨大。因此，实用的算法是SGD算法。在SGD算法中，每次更新的迭代，只计算一个样本。这样对于一个具有数百万样本的训练数据，完成一次遍历就会对更新数百万次，效率大大提升。由于样本的噪音和随机性，每次更新并不一定按照减少的方向。如上图，椭圆表示的是函数值的等高线，椭圆中心是函数的最小值点。红色是BGD的逼近
转载
2024-01-12 02:03:49
76阅读
一、本地部署 Stable diffusion1. 前言目前市面上比较权威，并能用于工作中的 AI 绘画软件其实就两款。一个叫 Midjourney（简称 MJ），另一个叫 Stable-Diffusion（简称 SD）。MJ 需要付费使用，而 SD 开源免费，但是上手难度和学习成本略大，并且非常吃电脑配置（显卡、内存）。E 和 Midjourney 相比，Stable Dif
输入print(‘Hello World!’)，写下你的第一句Python代码。（三）增加环境变量下面介绍下怎么手动添加环境变量，因为不添加python没法用。首先得知道在哪添加，按照这个顺序点进去就能找到环境变量在怎么增加呢 很简单，首先找到你python的安装路径——复制哪增加。 怎么增加呢 很简单，首先找到你python的安装路径——复制 再找到刚刚那个环境变量的窗口，找到Path进行编辑，
本周Facebook宣布发布PyTorch 1.5 上周，我们回答了以下问题：哪个是深度学习网络编程的最佳框架？ 还有今天？ Facebook发布了新的PyTorch 1.5，其中包括几个基于Facebook和AWS之间的协作的项目？ 领先的深度学习框架TensorFlow 当今有许多深度学习框架可用，但是，TensorFlow（由Google开发并于2022年11月作为开源发布）是目前
深度学习入门学习笔记1两个重要工具dirhelp数据加载初识ananconda 自动带jupyterjupyter使用时遇到问题：Dataset 实战类：TensorBoardSummaryWriter()导包：查看 函数使用方法add_scalar()TransformsTransforms的使用常见的TransformsToTensor()NormalizeResizecomposetorc
转载
2024-10-04 11:29:01
70阅读
由于每次完成实验需要5个小时（baseline），自己的模型需要更久（2倍），非常不利于调参和发现问题，所以开始尝试使用多卡加速。torch.nn.DataParallel ==> 简称 DPtorch.nn.parallel.DistributedDataParallel ==> 简称DDP一开始采用dp试图加速，结果因为dgl的实现（每个batch的点都会打包进一个batch，从而
转载
2023-10-20 11:43:33
23阅读
Ubuntu下安装cuda，cudnn和pytorch服务器配置cuda和cudnn安装在安装一台电脑时候，遇到`'torch.cuda.is_available()`',输出是False的情况。 服务器配置公司新配了几台2080TI主机打算做分布式训练，我事先以安装好Anaconda和pycharm了，这2个安装不难去官网下载对应安装就行了，下面主要记录cuda10.1、cudnn7.6和to
转载
2024-09-11 11:01:23
55阅读
随着嵌入式系统在工控领域的应用，大容量的数据存储是需要解决的一个问题。常见的解决方案包括Flash存储芯片、SD卡和U盘。综合比较而言，SD卡是个不错的选择。SD卡具有存储容量大（大于128GB）、方便携带及支持SPI通信的特点。今天这篇文章，我们就来聊聊SD卡的那些事。SD卡的全名为“Secure Digital Memory Card”，中文翻译为“安全数字存储卡”。S它是一种基于半导体闪存工
转载
2024-04-25 00:13:28
144阅读
B站up主“刘二大人”视频 笔记详细过程： 本课程的主要任务是构建一个完整的线性模型： 导入numpy和matplotlib库； 导入数据 x_data 和 y_data; 定义前向传播函数: forward：输出是预测值y_hat 定义损失函数： loss：损失函数定义为MSE：均方根误差 创建两个空列表，因为后面绘图的时候要用： 分别是横轴的w_list和纵轴的mse_list 开始计算（我觉
转载
2024-01-26 07:10:36
42阅读
# 在PyTorch中使用Hydra 的指南
Hydra是一个非常强大的配置管理工具，它能帮助开发者有效地管理和协调复杂的配置文件，尤其在深度学习项目中，配置往往是多层次和复杂的。本文将为刚入行的小白提供一个完整的指南，帮助他在PyTorch中实现Hydra。下面是整件事情的流程概览。
## 实现流程
| 步骤 | 描述 | 代码示例
导读 只需要添加几行代码，就可以得到更快速，更省显存的PyTorch模型。你知道吗，在1986年Geoffrey Hinton就在Nature论文中给出了反向传播算法？此外，卷积网络最早是由Yann le cun在1998年提出的，用于数字分类，他使用了一个卷积层。但是直到2012年晚些时候，Alexnet才通过使用多个卷积层来实现最先进的imagenet。那么，是什么让他们现在如此出名
转载
2024-08-06 13:10:16
29阅读
