目录前言一、Pytorch的入门二、使用步骤1.引入库2.读入数据3.定义卷积神经网络4.Training5.在测试集上测试模型总结前言深度学习中有很多入门数据，MNIST被称为机器学习的“Hello World”，一个人能否入门深度学习往往就是以能否玩转MNIST数据来判断的。PyTorch有一个很好的模块nn，它提供了一种有效构建大型神经网络的好方法。我们将按顺序执行以下步骤：使用torchv
转载
2024-03-05 14:08:21
76阅读
# 使用SMOTE进行数据平衡
在机器学习任务中，数据不平衡是一个常见的问题。当训练数据中某个类别的样本数量远远多于其他类别时，模型会倾向于预测较多样本的类别，导致对其他类别的预测效果不佳。
在Python中，我们可以使用SMOTE算法来处理数据不平衡问题。SMOTE（Synthetic Minority Over-sampling Technique）是一种基于合成样本的过采样方法，它通过在
原创
2024-01-25 08:17:02
445阅读
专题介绍及文章命名再次提醒：该系列专题不涉及网络细节讲解，仅限于 工程实现 与 框架学习。想更多了解该专题内容请点击上文专题介绍链接。该专题中，文章命名方式为：Pytorch框架应用系列 之 《项目名称》 《总章节-当前章节》：《当前章节项目名称》目录一. Excel 格式数据集的建立 1.1 数据建立操作 之 Excel数据创建《子任务章节》 1.1.1 第一步：Excel 操作函数：op
转载
2023-12-26 21:43:39
49阅读
1.多维输入之前我们的输入都是只有一个维度，如果有多个维度呢？ 对于每一行叫做一个sample（样本） 对于每一列叫做一个feature（特征） 数据集各种各样的什么都有。 csv可以使用excel打开，只能打开逗号做分割的数据集，空格和tab都是不行的。所以可以用记事本打开看一下子。原来的处理函数发生了相应的变化，从一维的变化成了多维 这个过程拆解来看其实是这样子的：为了保证其标量性做了一次转置
转载
2024-01-03 09:46:42
58阅读
1.27 pytorch学习数据预处理创建csv文件import os
os.makedirs(os.path.join('..', 'data'), exist_ok=True)
data_file = os.path.join('..', 'data', 'txy.csv')pandas从创建的CSV文件中加载原始数据集import pandas as pd
data = pd.read_c
转载
2024-02-24 23:16:04
77阅读
目录一、Anaconda 安装二、安装 TensorFlow-CPU1、配置环境2、安装 Tensorflow三、安装TensorFlow-GPU1、是否可安装GPU版Tensorflow（1）方法一：查看算力（2）方法二：Google搜索2、安装显卡驱动3、创建虚拟环境4、安装Tensorflow、CUDA、cuDNN（1）CUDA版本选择（2）cuDNN、TensorFlow 版本选择（3）
转载
2023-12-15 09:51:15
169阅读
深度学习框架安装由于深度学习框架包括Tensorflow，Pytorch 的源都是在国外的，在国内的安装有时候运气好的情况下可以下载成功，但是大部分的情况都是会出现超时的时候，下面介绍如何快速地安装Tensorflow，Pytorch框架。Tensorflow 安装安装Conda，并且使用Conda国内镜像源创建虚拟环境在虚拟环境中使用Conda或者Pip 下载Tensorflow安装Conda创
转载
2023-11-26 13:53:39
51阅读
▌图片：tensorflow官网、安装截图▌内容：教程安装系列 从思想出发，去理解技术；用智慧推演，看人工智能前提：已安装完Anaconda 这⾥咱们主要使⽤ Windows 中的Anaconda Prompt 进⾏安装，因为在Linux、Mac通⽤也是⼤同⼩异的▍第一步：打开Anaconda Prompt配置镜像源，打开后，可以看到现在是base环境，就是安装完a
转载
2024-01-09 17:33:03
57阅读
平时很多分类问题都会面对样本不均衡的问题，很多算法在这种情况下分类效果都不够理想。类不平衡(class-imbalance)是指在训练分类器中所使用的训练集的类别分布不均。比如说一个二分类问题，1000个训练样本，比较理想的情况是正类、负类样本的数量相差不多；而如果正类样本有995个、负类样本仅5个，就意味着存在类不平衡。把样本数量过少的类别称为“少数类”。SMOTE算法的思想是合成新的少数类样本
转载
2023-10-27 15:03:24
317阅读
在实际应用中，类别型的因变量可能存在严重的偏倚，即类别之间的比例严重失调。如欺诈问题中，欺诈类观测在样本集中毕竟占少数；客户流失问题中，忠实的客户往往也是占很少一部分；在某营销活动的响应问题中，真正参与活动的客户也同样只是少部分。 如果数据存在严重的不平衡，预测得出的结论往往也是有偏的，即分类结果会偏向于较多观测的类。为了解决数据的非平衡问题，2002年Chawla提出了SMOTE算法，即合成少数
转载
2024-06-07 13:56:54
106阅读
SMOTE（Synthetic Minority Oversam
转载
2023-05-18 17:08:08
164阅读
一.smote相关理论(1).SMOTE是一种对普通过采样(oversampling)的一个改良。普通的过采样会使得训练集中有很多重复的样本。SMOTE的全称是Synthetic Minority Over-Sampling Technique，译为“人工少数类过采样法”。SMOTE没有直接对少数类进行重采样，而是设计了算法来人工合成一些新的少数类的样本。为了叙述方便，就假设阳性为少数类，阴性为多
转载
2023-08-08 08:56:55
305阅读
# 使用PyTorch进行深度学习
## 引言
深度学习是人工智能领域的一个重要分支，它模拟了人类大脑的神经网络结构，利用大量的数据进行训练，从而实现各种复杂的任务，如图像分类、语音识别和自然语言处理等。PyTorch是一个开源的机器学习框架，由Facebook的人工智能研究院开发并维护。它提供了灵活的张量计算和动态计算图，使得深度学习模型的训练变得更加简单和高效。
## 安装PyTorch
原创
2023-08-13 19:13:54
114阅读
对葡萄酒数据集进行测试，由于数据集是多分类且数据的样本分布不平衡，所以直接对数据测试，效果不理想。所以使用SMOTE过采样对数据进行处理，对数据去重，去空，处理后数据达到均衡，然后进行测试，与之前测试相比，准确率提升较高。例如：决策树：Smote处理前：Smote处理后：from typing import Cou
转载
2024-05-29 06:32:03
85阅读
数据导入与处理来自这里。在解决任何机器学习问题时，都需要在处理数据上花费大量的努力。PyTorch提供了很多工具来简化数据加载，希望使代码更具可读性。在本教程中，我们将学习如何从繁琐的数据中加载、预处理数据或增强数据。开始本教程之前，请确认你已安装如下Python包：scikit-image：图像IO操作和格式转换pandas：更方便解析CSV我们接下来要处理的数据集是人脸姿态。这意味着人脸的注释
转载
2023-10-16 10:09:15
86阅读
目录1. 数据集介绍2. 代码2. 读代码（个人喜欢的顺序）2.1. 导入模块部分：2.2. Main 函数：1. 数据集介绍一般而言，MNIST 数据集测试就是机器学习和深度学习当中的＂Hello World＂工程。几乎是所有的教程都会把它放在最开始的地方。这是因为，这个简单的工程包含了大致的机器学习流程，通过练习这个工程有助于读者加深理解机器学习或者是深度学习的大致流程。MNIST
转载
2023-07-05 17:28:29
120阅读
文章目录一、安装及使用Anaconda1、安装Anaconda2、管理环境3、关于Anaconda命令总结4、连接PyCharm5、使用Conda二、配置PyTorch环境1、检查显卡2、安装CUDA3、测试是否安装成功三、在pycharm中使用pytorch 一、安装及使用Anaconda1、安装Anaconda官网下载：https://www.anaconda.com/products/di
转载
2023-11-17 19:35:52
235阅读
前言为啥要写这个呢，在做课题的时候想着扩充一下数据集，尝试过这个过采样降采样，交叉采样，我还研究了一周的对抗生成网络，对抗生成网络暂时还解决不了我要生成的信号模式崩塌的问题，然后就看着尝试一下别的，就又来实验了一下SMOTE，我看原理也不是很难，想着调库的话不如自己手搓一个稍微，可以简单理解一点的，最后呢也是成功了，然后呢对训练集进行了扩充，效果额，训练集准确率肯定是嗷嗷提升，训练的效果稳定了一点
转载
2023-12-21 10:38:53
159阅读
Pytorch
训练桶状网络
使用nn.Sequential(nn.Conv2d(),nn.BatchNorm(),nn.ReLU(),...)网络就按照次序建立好了。
什么时候使用.to(device)
如果没有一个变量没有显示的复制到显存上，比如初始化的时候，我们就需要使用.to(device)将其复制到显存，但是有一种情况不需要复制到显存，就是如果数据是由原来在显存上的{程序|网络|张量}生
转载
2024-03-14 22:31:14
30阅读
类别不平衡问题 类别不平衡问题，顾名思义，即数据集中存在某一类样本，其数量远多于或远少于其他类样本，从而导致一些机器学习模型失效的问题。例如逻辑回归即不适合处理类别不平衡问题，例如逻辑回归在欺诈检测问题中，因为绝大多数样本都为正常样本，欺诈样本很少，逻辑回归算法会倾向于把大多数样本判定为正常样本，这样能达到很高的准确率，但是达不到很高的召回率。&
转载
2024-07-11 07:34:01
72阅读
