百天计划之第29天，关于“AI智能量化，财富自由与个人成长”相关。qlib框架使用暂时告一段落。过去20几天，大家如果一起在学习的话，可以说已经掌握qlib的正确使用方式，甚至是定制与扩展，以及如何正确阅读它的代码。我们要开始一个新的系列——机器学习在量化中的落地与实践。当然基于的框架主体仍然是qlib，核心技能还是聚焦的。机器学习，会涉及统计学、传统机器学习、深度学习以及强化学习。因子特征工程，
1、验证conda是否安装成功在安装pytorch之前，需要验证coda安装是否成功 WIN+R键，打开cmd，输入nvcc -V,出现以下界面说明安装成功，并且知道版本为10.2（记住）2、创建虚拟环境在命令窗口输入命令cona create -n torch38 python=3.8, 其中torch38是你创建虚拟环境的名称，可以根据你自己的喜好进行设置，建议不要太复杂。pthon=3.8是
转载
2023-10-23 10:15:12
85阅读
本文目录ConvGroup ConvDepthwise Separable Convolution1. Depthwise Conv2. Pointwise Conv Conv首先是常规卷积，假设我们有一张的特征图，现在想得到一张的图，如果直接使用卷积操作，大卷积核（包含channel，3维）一共有10个，每个大小为。代码及计算过程如下图所示conv = nn.Conv2d(6, 10, ker
转载
2023-08-11 21:30:48
101阅读
当我们安装好pytorch的依赖环境以后，我们就可以学习pytorch了，我们首先引入依赖包如下：import torch
import torchvision as tv
import torch.nn as nn 接下来我们主要讲述nn.Conv2d 的卷积运算函数，nn.Conv2d的功能是：对由多个输入平面组成的输入信号进行二维卷积，以最简单的例子进行说明：layer = nn.
转载
2023-07-10 16:15:57
322阅读
背景CNN是深度学习的重中之重，而conv1D，conv2D，和conv3D又是CNN的核心，所以理解conv的工作原理就变得尤为重要。在本博客中，将简单梳理一下这三种卷积，以及在PyTorch中的应用方法。参考https://pytorch.org/docs/master/nn.html#conv1d https://pytorch.org/docs/master/nn.functional.h
pytorch之nn.Conv1d详解 之前学习pytorch用于文本分类的时候，用到了一维卷积，花了点时间了解其中的原理，看网上也没有详细解释的博客，所以就记录一下。Conv1d
class torch.nn.Conv1d(in_channels, out_channels, kernel_size, stride=1, padding=0, dilation=1, groups=1,
转载
2023-08-12 12:32:10
253阅读
本文主要介绍PyTorch中的nn.Conv1d和nn.Conv2d方法，并给出相应代码示例，加深理解。一维卷积nn.Conv1d一般来说，一维卷积nn.Conv1d用于文本数据，只对宽度进行卷积，对高度不卷积。通常，输入大小为word_embedding_dim * max_length，其中，word_embedding_dim为词向量的维度，max_length为句子的最大长度。卷积核窗口在
转载
2023-08-21 10:28:49
697阅读
这一篇文章，来讲解一下可变卷积的代码实现逻辑和可视化效果。全部基于python，没有C++。大部分代码来自：https://github.com/oeway/pytorch-deform-conv 但是我研究了挺久的，发现这个人的代码中存在一些问题，导致可变卷积并没有实现。之所以发现这个问题是在我可视化可变卷积的检测点的时候，发现一些端倪，然后经过修改之后，可以正常可视化，并且精度有所提升。1 代
转载
2023-08-03 23:18:07
77阅读
深度学习框架：图片来自网络不必多说，深度学习爱好者入门首先接触的就是深度学习框架了，Pytorch作为目前最流行的深度学习框架，不论是在其性能还是简洁性上都是目前最适合入门学习的一个框架。Linux基础：熟悉开发环境是进行开发的首要工作，在Linux环境下开发在深度学习中是最为流行的，尽管Windows开发也很不错，但考虑企业和院所实际开发环境，掌握必备的Linux基础是必要的。Linux：Lin
转载
2024-08-20 15:29:50
48阅读
目录1. 模型量化是什么2. Pytorch模型量化2.1 Tensor的量化2.2 训练后动态量化Post Training Dynamic Quantization2.3 训练后静态量化Post Training Static Quantization2.4 训练时量化Quantization Aware Training3. 混合精
转载
2023-12-01 22:26:40
131阅读
pytorch框架下参数渐进量化的实现将pytorch框架下的参数量化为特定形式，会产生一定的误差，这篇博客以MINIST数据集，LSTM量化为例，主要写了量化的详细流程，并附上完整程序。 文章目录pytorch框架下参数渐进量化的实现一、量化原理二、自定义RNN框架三、MNIST数据集和建模，初始化四、量化函数介绍五、量化权重矩阵总结示例工程代码： 一、量化原理本博客介绍的量化方式，可以将参数量
转载
2023-09-21 06:43:27
259阅读
Pytorch1.8 发布后，官方推出一个 torch.fx 的工具包，可以动态地对 forward 流程进行跟踪，并构建出模型的图结构。这个新特性能带来什么功能呢？别的不说，就模型量化这一块，炼丹师们有福了。其实早在三年前 pytorch1.3 发布的时候，官方就推出了量化功能。但我觉得当时官方重点是在后端的量化推理引擎（FBGEMM 和 QNNPACK）上，对于 pytorch 前
转载
2024-08-15 00:24:43
96阅读
参考中文官方,详情参考：PyTorch 如何自定义 Module1.自定义Module Module 是 pytorch 组织神经网络的基本方式。Module 包含了模型的参数以及计算逻辑。Function 承载了实际的功能，定义了前向和后向的计算逻辑。 下面以最简单的 MLP 网络结构为例，介绍下如何实现自定义网络结构。完整代码可以参见repo。1.1 FunctionFunction 是 py
转载
2024-07-29 23:24:25
142阅读
1. 参考pytorch官方quantizationquantization API2. qconfig设置2.1 选择量化后端qnnpack or fbgemm'qnnpack’和’fbgemm’都是用于在量化部署中对模型进行加速。fbgemm目前被更新为‘x86’支持的硬件平台不同：'qnnpack’是一种专为 ARM CPU 设计的量化后端，而 ‘fbgemm’ 则是一种适用于 Intel
转载
2023-11-13 10:30:37
755阅读
文章目录前言一、pytorch静态量化（手动版）踩坑：二、使用FX量化1.版本2.代码如下：总结 前言以前面文章写到的mobilenet图像分类为例，本文主要记录一下pytorchh训练后静态量化的过程。一、pytorch静态量化（手动版）静态量化是最常用的量化形式，float32的模型量化成int8，模型大小大概变为原来的1/4，推理速度我在intel 8700k CPU上测试速度正好快4倍，
转载
2023-11-02 06:54:01
123阅读
逆天的反转策略在A股实证—策略介绍—动量策略和反转策略的原理主要是基于股票市场中可能存在的动量效应或反转效应。所谓【动量效应】，是指在一段时间内，股票会延续它过去的趋势。过去涨，接下来继续涨的概率比较大，也就是我们常说的强者恒强；过去跌，接下来就更可能继续跌。基于股票动量效应，我们可以通过买入过去收益率高的股票、卖出过去收益率低的股票来构建投资组合，这种构建投资组合的方法叫做动量策略。而反转效应恰
1 背景用于降水预测2 核心思想2.1 卷积替代hadamard乘积普通的LSTM是这样的其中的 o 表示hadamard乘积，其实就是矩阵相乘，相当于全连接神经网络（一层全连接网络就是相当于一个矩阵相乘），全连接网络参数量巨大，不能有效提取空间信息，把它换为卷积之后则能有效提取空间信息(花书中使用卷积层替代全连接层的动机)，于是把hadamard乘积改为卷积。于是就有了ConvLSTM再来
转载
2023-11-11 09:33:13
1112阅读
AnimeGANv2复现【动漫风格迁移】写在前面的话项目获取环境配置运行结果总结 项目获取代码源地址 可以下一个git bash把它克隆下来git clone https://github.com/bryandlee/animegan2-pytorch或者直接在github上下载其压缩包保存下来环境配置我用的是pycharm社区版+pytorch+cuda+cudnn+anaconda。具体流程
在深度学习的实践中，模型的大小和推理速度常常会对业务应用带来显著的影响。PyTorch的量化技术正是为了解决这一问题而产生的。量化是通过将浮点模型转换为低精度参数（如int8）来降低内存使用和加速推理过程的技术。特别是在移动设备或嵌入式设备上，量化成为实现高效推理的关键手段。
### 业务影响
量化不仅可以减少模型的存储大小，还能提高推理速度，这在业务场景中尤为重要。比如，为了满足实时推理的需求
文章目录量化原理函数映射量化参数校准仿射和对称量子化方案后端引擎QConfig 翻译来源https://pytorch.org/blog/quantization-in-practice/量化是一种廉价而简单的方法，可以使深度神经网络模型运行得更快，并具有更低的内存需求。PyTorch提供了几种量化模型的不同方法。在这篇博客文章中，我们将(快速)为深度学习中的量化奠定基础，然后看看每种技术在实践
转载
2023-09-09 07:26:11
189阅读
