深度学习是Google，亚马逊，微软和Facebook以及众多小型公司业务的重要组成部分。 它负责自动语言翻译，图像分类和对话界面等领域的许多最新进展。 我们还没有到达一个单一的主导深度学习框架的地步。 TensorFlow （Google）很好，但是一直很难学习和使用。 而且TensorFlow的数据流图很难调试，这就是为什么TensorFlow项目一直致力于急切执行和TensorFlow调
转载
2024-10-28 22:18:52
115阅读
TensorRT前言 TensorRT是nvidia官方开源的加速推理框架，适用于流行的深度学习框架：pytorch、tensorflow、Caffe等。TensorRT（下面简称trt）需要与nvidia提供的显卡一起使用，没有nvidia的cuda无法使用。提高部署推理的方法有2种，一种是训练过程中需要进行优化加速的，比如模型压缩、模型剪枝、量化、知识蒸馏，另外一种是训练完成后通过优化计算图结
转载
2024-04-23 10:44:16
303阅读
环境搭建#下载安装包
wget https://repo.anaconda.com/archive/Anaconda3-2024.10-1-Linux-aarch64.sh
chmod +x Anaconda3-2024.10-1-Linux-aarch64.sh #安装
bash Anaconda3-2024.10-1-Linux-aarch64.sh #设置环境变量
vim ~/.bashrc
一、编译环境1、目标系统：ubuntu 22.04 LTS
2、投屏器SDK下载：
链接：https://pan.baidu.com/s/1OJQafxm38FnbshMEu432Og
提取码：o6p3
下载下来后，输入命令cat rv1126.zip.001 rv1126.zip.002 rv1126.zip.003 rv1126.zip.004 rv1126.zip.005 > rv11
转载
2024-06-04 04:54:15
215阅读
深度学习框架—Pytorch官网：https://pytorch.org/参考：https://morvanzhou.github.io/tutorials/machine-learning/torch/github:https://github.com/xiezhiepng/pytorch_example一、介绍Pytorch是Facebook 的 AI 研究团队发布了一个 Python 工具包
转载
2023-11-24 22:44:00
267阅读
RKNN-Toolkit转换Tensorflow模型至Rockchip NPU推理并进行性能评估 文章目录RKNN-Toolkit转换Tensorflow模型至Rockchip NPU推理并进行性能评估一、基本知识二、环境部署2.1环境准备2.2安装RKNN-Toolkit（以Python3.6为例）2.3注意事项：三、Tensorflow模型转换、推理及评估3.1在PC上仿真运行3.2在RV11
转载
2024-03-15 15:56:25
930阅读
使用2.0中的v1兼容包来沿用1.x代码TensorFlow 2.0中提供了tensorflow.compat.v1代码包来兼容原有1.x的代码，可以做到几乎不加修改的运行。社区的contrib库因为涉及大量直接的TensorFlow引用代码或者自己写的Python扩展包，所以无法使用这种模式。TensorFlow 2.0中也已经移除了contrib库，这让人很有点小遗憾的。 使用这种方式升级原有
转载
2024-10-21 23:08:59
145阅读
文章目录南北桥芯片结构.NUMA以前.CPU高频化.CPU多核化.NUMA. 南北桥芯片结构.南桥-北桥芯片结构是一种历史悠久的结构，以一块电脑主板来说，最靠近CPU的一块芯片就是北桥芯片，而离CPU较远，位于整个主板的较下方位置的芯片就是南桥芯片，南北桥芯片各司其职，完成不同的功能，结构图示如下(来自知乎某用户)：从这张图中能够将CPU、北桥以及南桥之间的关系看得很清楚，我个人理解这是一种层次
转载
2024-08-13 09:07:59
295阅读
## NPU 跑pytorch
在深度学习领域，PyTorch 是一个非常流行的深度学习框架，它提供了灵活的张量计算和动态计算图的功能。而 NPU（神经处理单元）是一种专为加速深度学习任务而设计的处理器。本文将介绍如何在 NPU 上运行 PyTorch，以实现更快的模型训练和推理。
### PyTorch on NPU
PyTorch 提供了一个名为 `torch.distributed`
原创
2024-04-02 05:13:08
1854阅读
MNN官方中文文档：https://www.yuque.com/mnn/cn/aboutgithub源码：https://github.com/alibaba/MNN 本人处于初学阶段，文中有错误希望大佬指正！1 使用MNN库的方法这种方法便于模型转换和量化等操作，但对于模型推理似乎还没实现1.1 准备MNN库python安装pip install -U MNN -i https://mirror
转载
2024-05-21 10:35:57
123阅读
# PyTorch NPU版实现流程
## 1. 简介
PyTorch NPU版是一个用于利用华为昇腾AI处理器（NPU）的深度学习框架。本文将介绍如何实现PyTorch NPU版，以及每个步骤具体需要做什么。
## 2. 实现流程
下面是实现PyTorch NPU版的具体步骤：
```mermaid
flowchart TD
A[安装华为NPU运行环境] --> B[安装PyTor
原创
2023-11-20 09:13:21
1957阅读
# 《PyTorch官方教程中文版》， PyTorch之小试牛刀
# PyTorch的核心之一：张量，类似于numpy，但可以在GPU上运行
# 在介绍PyTorch之前，本章节将首先使用numpy实现网络
# 代码解读参考：
import numpy as np
import torch
# N是批大小; D_in是输入维度; H是隐藏的维度; D_out是输出维度。
N, D_in,
转载
2023-11-25 13:26:33
112阅读
<<Pytorch推理及范式>>第二节课作业必做题1.从torchvision中加载resnet18模型结构，并载入预训练好的模型权重 ‘resnet18-5c106cde.pth’ (在物料包的weights文件夹中)。import torch
# 加载模型结构
import torchvision.models as models
model = models.resn
转载
2024-01-10 23:51:57
203阅读
既然已经有模型和数据了，是时候在数据上优化模型参数来训练、验证和测试它了。模型训练是一个迭代过程；在每一次迭代（epoch），模型会作出一个预测，计算其预测误差（loss），收集误差关于模型参数的导数（如前一节所述），并使用梯度优化这些参数。关于这一过程的详细信息，可以观看backpropagation from 3Blue1Brown。先决代码我们从Datasets & DataLoad
转载
2023-07-29 20:26:56
152阅读
在机器学习和深度学习模型部署中，将PyTorch模型部署到NPU（神经网络处理单元）上是一个重要且复杂的过程。为了帮助大家更好地完成这一任务，本文将详细记录从环境准备到优化技巧的整个流程，包括关键的配置、验证测试、扩展应用等方面的内容。
## 环境准备
在进行PyTorch模型部署到NPU之前，您需要确保安装了相关的前置依赖。下面的表格总结了各个依赖项及其版本兼容性矩阵。
| 依赖项
1. 框架概述 MMDetection是商汤和港中文大学针对目标检测任务推出的一个开源项目，它基于Pytorch实现了大量的目标检测算法，把数据集构建、模型搭建、训练策略等过程都封装成了一个个模块，通过模块调用的方式，我们能够以很少的代码量实现一个新算法，大大提高了代码复用率。 整个MMLab家族除了MMDetection，还包含针对目标跟踪任务的MMTracking，针对3D目标检测任务的M
一、作业题目必做题:(1) 把模型改为resnet18，加载相应的模型权重(Lesson2的物料包中有)，跑一下0.jpg和 1.jpg，看一下输出结果。官方 torchvision 训练 mobilenet 和训练 resnet 的方式是一样的，所以数据预处理和数据后处理部分完全相同。(2) 自己找2张其他图，用resnet18做下推理。思考题:(1) 以ResNet18为例，用time模块和f
转载
2023-12-22 23:48:36
250阅读
文章目录一、简介二、Pytorch构建深度学习网络1.datasets2.models3.train4.inference三、总结 一、简介Pytorch是目前非常流行的大规模矩阵计算框架，上手简易，文档详尽，最新发表的深度学习领域的论文中有多半是以pytorch框架来实现的，足以看出其易用性和流行度。 这篇文章将以yolov3为例，介绍pytorch中如何实现一个网络的训练和推断。二、Pyto
转载
2024-04-27 08:44:13
104阅读
一、作业题目必做题:(1) 把模型改为resnet18，加载相应的模型权重(Lesson2的物料包中有)，跑一下0.jpg和 1.jpg，看一下输出结果。官方 torchvision 训练 mobilenet 和训练 resnet 的方式是一样的，所以数据预处理和数据后处理部分完全相同。(2) 自己找2张其他图，用resnet18做下推理。思考题:(1) 以ResNet18为例，用time模块和f
转载
2023-12-22 15:33:39
172阅读
摘要：MindStudio的是一套基于华为自研昇腾AI处理器开发的AI全栈开发工具平台，该IDE上功能很多，涵盖面广，可以进行包括网络模型训练、移植、应用开发、推理运行及自定义算子开发等多种任务。1 MindStudio环境搭建本次实验在MindStudio上进行，请先按照教程 配置环境，安装MindStudio。MindStudio的是一套基于华为自研昇腾AI处理器开发的AI全栈开发工
转载
2024-01-03 22:25:31
122阅读
