由于网上的教程不够具体，我根据官网的教程自己跑了一遍官网的demo，遇到了的一些坑，记录一下。这是官网的教程：https://pytorch.org/tutorials/advanced/cpp_export.html#step-4-executing-the-script-module-in-cStep1：Converting Your PyTorch Model to Torch Script
虽然FPGA的功能很强大，但是并非所有的设计都会使用到这样的芯片。很多系统架构师在开始的时候会斟酌到底是使用FPGA还是其他的代替方案，例如GPGPU（通用的图形处理单元）。 由于GPGPU特有的架构和处理能力，在很多现代的设计中越来越受欢迎。从金融业的微分方程求解，到MATLAB这样的专业仿
转载
2023-12-18 22:16:47
373阅读
推荐PyTorch Serve：实时模型部署与管理的利器项目地址:https://gitcode.com/pytorch/servePyTorch Serve 是一个由 PyTorch 团队开发的强大工具，主要用于简化和加速机器学习模型的生产环境部署。它提供了一个灵活且高效的框架，使开发者能够轻松地将训练好的 PyTorch 模型转化为高性能的服务。项目简介PyTorch Serve的主要目标是降
转载
2024-06-21 07:32:04
133阅读
编辑丨阿chai带你学AI我是来自山区、朴实、不偷电瓶的AI算法工程师阿chai，给大家分享人工智能、自动驾驶、机器人、3D感知相关的知识今天给大家介绍一下FPGA上部署深度学习的算法模型的方法以及平台。希望通过介绍，算法工程师在FPGA的落地上能“稍微”缓和一些，小白不再那么迷茫。阿chai最近在肝一个开源的项目，等忙完了会给大家出几期FPGA上从零部署的教程，包括一些底层的开发、模型的量化推理
转载
2022-12-15 21:28:03
979阅读
前言在使用Pytorch训练模型的时候，经常会有在GPU上保存模型然后再CPU上运行的需求，在实验的过程中发现在多GPU上训练的Pytorch模型是不能在CPU上直接运行的，几次遇到了这种问题，这里研究和记录一下。模型的保存与加载例如我们创建了一个模型：model = MyVggNet()如果使用多GPU训练,我们需要使用这行代码：model = nn.DataParallel(model).cu
转载
2023-11-11 15:13:42
149阅读
1、问题：使用vivado 2018.3对开发的例程进行仿真时出现问题：ERROR [Common 17-69] Command failed. Simulation for PR Flow is not supported 如下图所示：分析及解决：这个问题主要是PR（Partial Reconfiguration，局部重配置）流不支持仿真，其中，PR的相关知识请参考该篇文章：谈谈赛灵思的局部重配
转载
2024-10-24 17:07:46
151阅读
[toc]C++部署pytorch模型前言项目需要将pytorch训练好的网络用c++调用，在正式开始项目之前，在网上查了各种资料，共有三种实现方法： 直接将网络从最基础的CNN模块用C++实现； 运行环境：
win10 64位
cuda 10.2
pytorch 1.6.0
torchvision 0.7
opencv 4.3
vs2019
LibTorch 1.6
ps:
转载
2023-11-11 14:12:33
537阅读
Pytorch的安装分为3个部分：Anaconda的安装、cuda安装、pytorch安装Anaconda建议使用最新版本，使用旧版本的，需要升级python等库，会遇到问题。解决问题的时间大于直接重新安装anaconda的时间，所以选择更新anacondaAnaconda下载地址为：https://www.anaconda.com/download/前段时间看到消息，有Python的包已经开始不
转载
2023-11-06 17:11:26
60阅读
Modelsim仿真 目录Modelsim仿真（一）Modelsim仿真基础知识知识准备1.仿真分类2.RTL级与门级3.Testbench与HDL文件的关系步骤（二）tb文件编写（三）手动仿真（四）联和仿真手动仿真与联和仿真区别 （一）Modelsim仿真基础知识知识准备 我们知道进行FPGA开发的时候，用的某家的芯片，都会用这家的开发环境，他们都有自己的
转载
2023-12-15 10:58:28
134阅读
我与FPGA的渊源： 作为一个普通二本的电气自动化的学生，从大一开始自学单片机，搞搞3D打印，参加比赛。后来自己琢磨，搞这些不行，想想以后发展方向，想来想起，发现机器视觉是个很大的坑，有意思。果然不出我的意料，后面参加很多比赛都需要视觉处理。方向明确了，想想技术方向了，单片机肯定不行，像现在比赛和机器人用到很多就是openmv，是基于单片机开发的
转载
2024-09-07 22:27:35
102阅读
一、安装Anaconda 3.5Anaconda是一个用于科学计算的Python发行版，支持Linux、Mac和Window系统，提供了包管理与环境管理的功能，可以很方便地解决Python并存、切换，以及各种第三方包安装的问题。二、下载和安装个人建议推荐在清华的镜像来下载。选择合适你的版本下载，我使用的是Anaoonda3-5.1.0-Windows-x86_64.exe &
转载
2023-06-16 19:35:11
359阅读
一.前言差不多一年前的这个时候，在狗厂实习的时候，主要用PyTorch做一些事情。那个时候针对PyTorch的模型部署问题，主要讨论ONNX。想像一下今天的DL框架格局，PyTorch，Tensorflow，Keras，Caffe，Caffe2等，持久化模型之间不兼容。常见的一种情况是，一篇论文基于不同框架写不同版本的代码。那么，很显然的一个需求是：一个框架下的模型如何可以转化为另一个框架下的模型
转载
2024-07-02 20:34:36
56阅读
在上一篇博客中介绍了从Pytorch模型到ONNX中间格式文件再到TensorRT推理引擎的整个过程，其中在进行INT8格式的转换时，需要额外的工作来做，这篇博客就针对INT8转换的具体过程及如何准备校准集、编写校准器进行详细介绍。同时，使用TensorRT进行INT8量化的过程也分享到了GitHub，欢迎大家参考。目录1、INT8量化过程2、编写校准器，并进行INT8量化1、INT8量化过程众所
转载
2023-12-02 22:52:26
613阅读
在现代应用开发中，PyTorch 深度学习模型与 Java 后端框架 Spring Boot 的结合，能够为应用系统提供强大的智能化功能。然而，如何将 PyTorch 模型成功地部署到 Spring Boot 上，仍然是一个值得探讨的问题。
### 问题背景
随着人工智能技术的发展，深度学习模型在实际应用中的作用愈发显著。例如，我们使用深度学习进行图像分类的模型，其表示可以用如下一般形式表示：
docker基本操作查看当前运行的docker容器：sudo docker ps查看所有的docker容器:sudo docker ps -a查看当前可创建的docker：sudo docker image ls创建docker容器：sudo nvidia-docker run -it -v /mnt/sda/speech:/var/workspace --name speech nvidia/c
转载
2023-10-14 16:19:27
202阅读
在学习了这些天，fpga的用途大多是在硬件层面进行加速，它不适合进行浮点运算。最适合基于硬件的固有算法并行且高速的进行计算处理。目前在数据中心等地方进行硬件加速非常普遍，自己的发展领域是视觉，在视觉处理中适合对视频流做预处理加速，还是不适合搭载需要浮点运算的算法。一般arm配合fpga的使用更多，fpga对视频流进行复杂的预处理，预处理结束的图像由arm进行计算和结果输出显示。现有的商用场景有ai
# 把深度学习部署在FPGA上的科普文章
随着深度学习技术的发展，越来越多的应用场景需要将深度学习模型进行实时处理。然而，传统的处理器（CPU）和图形处理单元（GPU）并不总是最合适的选择，尤其是在功耗和延迟方面。FPGA（现场可编程门阵列）作为一种灵活且高效的硬件加速平台，逐渐成为深度学习应用的热门选择。本文将探讨如何将深度学习模型部署到FPGA上，并给出相应的代码示例。
## FPGA的优
# PyTorch 读取模型 在cpu上
PyTorch 是一个开源的机器学习框架，它提供了丰富的工具和函数来帮助我们构建和训练神经网络模型。在使用 PyTorch 训练好一个模型后，有时候我们需要将模型加载到 CPU 上进行推理或者部署。本文将介绍如何使用 PyTorch 读取模型并在 CPU 上进行使用。
## 读取模型
首先，我们需要将训练好的模型保存在磁盘上，这样我们才能够加载它。P
原创
2023-07-30 15:27:00
700阅读
Pytorch C++ windows部署教程0 所需环境1 将PyTorch模型转换为Torch Script2 C++调用pytorch模型3 配置opencv4 编译参考文献 0 所需环境软件：VS 2017 或 VS 2019Cmake ：安装过程中选择添加环境变量 （Cmake安装：https://cmake.org/download/）部署包：Libtorch Libtorch是py
转载
2023-09-03 09:46:32
271阅读
1 安装环境OSWindowsPackage ManagercondaPython3.6CUDA9.02 安装部署参考Pytorch官网以及GitHub仓库的安装说明，对于一般向的开发者来说，选用从Binaries的方式是一个不错的选择。确定好安装方式之后，需要决定PyTorch包的管理工具，一开始我选择了“原生”pip作为软件包管理工具，在安装完之后，运行GitHub示例，会出现PyTorch包
转载
2024-01-11 00:18:38
33阅读
