PyTorch框架学习四——计算图与动态图机制一、计算图二、动态图与静态图三、torch.autograd1.torch.autograd.backward()2.torch.autograd.grad()3.autograd小贴士4.代码演示理解（1）构建计算图并反向求导：（2）grad_tensors的理解:（3）autograd.gard与create_graph的结合：（4）小贴士1（5
转载
2023-09-25 06:39:37
136阅读
一. 概念：张量、算子张量（Tensor）：深度学习中表示和存储数据的主要形式。在动手实践机器学习之前，需要熟悉张量的概念、性质和运算规则，以及了解飞桨中张量的各种API。算子（Operator）：构建神经网络模型的基础组件。每个算子有前向和反向计算过程，前向计算对应一个数学函数，而反向计算对应这个数学函数的梯度计算。有了算子，我们就可以很方便地通过算子来搭建复杂的神经网络模型，而不需要手工计算梯
转载
2024-05-08 23:52:35
297阅读
TensorFlow发展及使用简介 2015年11月9日谷歌开源了人工智能系统TensorFlow，同时成为2015年最受关注的开源项目之一。TensorFlow的开源大大降低了深度学习在各个行业中的应用难度。TensorFlow的近期里程碑事件主要如下。2016年11月09日：TensorFlow开源一周年。2016年09月27日：TensorFlow支持机器翻译模型。2016年08月30
在学习中涉及到了TensorFlow的自定义算子实现，现将整个工程中的一些思考写下来，有问题的部分也请大家指正！！！OP和Kernel是TensorFlow框架最重要的两个概念，OP类似于函数声明，Kernel类似于实现。要注意以下四个方面：一是所有Op包含注册和实现两部分；二是OpKernel类（./core/framework/op_kernel.h）是所有Op类的基类；三是所有Op类的实现需
转载
2024-02-20 07:16:33
65阅读
一、前述Spark中控制算子也是懒执行的，需要Action算子触发才能执行，主要是为了对数据进行缓存。控制算子有三种，cache,persist,checkpoint，以上算子都可以将RDD持久化，持久化的单位是partition。cache和persist都是懒执行的。必须有一个action类算子触发执行。checkpoint算子不仅能将RDD持久化到磁盘，还能切断RDD之间的依赖关系。二、具体
本文将会深入介绍 MegEngine CUDA 平台的底层卷积算子的实现原理，并将会对 Nvidia CUTLASS 的 Implicit GEMM 卷积 文档 进行解读和补充。 ...
转载
2021-07-30 14:26:00
1315阅读
2评论
本系列介绍了入门PyTorch所需要了解的内容。本文主要参考文献：《Deep Learning with PyTorch: A 60 Minute Blitz》（PyTorch深度学习60分钟快速入门），更新于2019.06.12。 文章目录TensorGradients PyTorch中所有神经网络的核心是autograd包，这个包提供所有在张量上进行自动求导的操作。这个过程是define-by
转载
2024-08-16 08:48:28
497阅读
1 前言
从前文ATB是什么？可知，在Ascend Transformer Boost加速库（ATB）中存在三种类型的算子，那么这三种类型的算子，它们的执行流程是什么，和其它的CANN中的算子有什么区别。带着这些疑问，进入到本文内容。
2 实现一个ATB算子
阅读本文之前，可以先行看下前文
如何使用Ascend的ATB加速库？
对atb的开发流程，有个大概的感知。其大概分为以下10步：
ATB算
主要流程OB 中的每个算子都定义了 inner_open、 inner_get_next_row、inner_close 三个方法，他们一般负责算子初始化、计算和吐数据、扫尾。三个方法之间通过 ObExecContext、ObTaskExecutorCtx 以及算子 Ctx 来传递信息。 由于历史原因，各种 Ctx 之间的区隔比较模糊，特别是 ObExecContext 和 ObTaskExecu
原创
2023-06-15 15:24:37
216阅读
spark官方常用的32个算子spark常用的Transformationimport org.apache.spark.{HashPartitioner, SparkConf, SparkContext}
import scala.collection.mutable.ListBuffer
object Transformation {
val conf = new SparkConf(
转载
2024-08-30 14:37:27
25阅读
借用官网的一个例子：假设存在一个序列，序列中的元素是具有不同颜色与形状的图形，我们希望在序列里相同颜色的图形中寻找满足一定顺序模式的图形对（比如在红色的图形里，有一个长方形跟着一个三角形）。同时，我们希望寻找的模式也会随着时间而改变。在这个例子中，我们定义两个流，一个流包含图形（Item），具有颜色和形状两个属性。另一个流包含特定的规则（Rule），代表希望寻找的模式。Flink开发的时候，经常会
原创
2021-02-07 15:56:46
1194阅读
目录一. 概念：张量、算子二. 使用pytorch实现张量运算1.2.1 创建张量1.2.1.1 指定数据创建张量1.2.1.2 指定形状创建张量1.2.1.3 指定区间创建1.2.2 张量的属性1.2.2.1 张量的形状1.2.2.2 形状的改变1.2.2.3 张量的数据类型1.2.2.4 张量的设备位置1.2.3 张量与Numpy数组转换1.2.4 张量的访问1.2.4.1 索引和切片1.2.
转载
2024-01-02 13:32:46
81阅读
一、前言在进行深度学习的过程中，经常遇到permute函数，transpose函数，view函数，contiguous函数等，他们起什么作用，之间又有什么联系呢？二、主要内容2.1、permute函数和transpose函数Tensor.permute(a,b,c,d, …)：可以对任意高维矩阵进行转置。例子见下：In[1]: torch.randn(2,3,4,5).permute(3,2,0,
转载
2024-01-28 17:21:36
253阅读
目录3.1 Map3.2 FlatMap3.3 Filter3.4 KeyBy3.5 Reduce3.6 Fold3.7 Aggregations3.8 Window3.9 WindowAll4.0 Aggregations on windows4.1 Union4.2 Split4.3 select 3.1 MapDataStream → DataStream一对一转换,即输入的记录和
转载
2023-12-27 15:12:53
36阅读
一、Apriori算法性质性质一：候选的k元组集合Ck中，任意k-1个项组成的集合都来自于Lk.性质二：若k维数据项目集X={i1,i2,…,ik}中至少存在一个j∈X，使得|L(k-1)(j)|<k-1,则X不是频繁项集。即若Lk-1中有一个元素C包含一个项目i，使得|L(k-1)(j)|<k-1，则所有Lk-1与C中元素连接生成的候选k维数据项集不可能是频繁项目集。eg.购物篮中的
通过Laplacian算子实现边缘检测卷积python
在图像处理领域，边缘检测是一项重要的技术，广泛应用于计算机视觉、图像识别以及自动驾驶等领域。边缘检测的目标是识别图像中物体的边界或边缘信息。在此背景下，Laplacian算子被广泛应用于边缘检测中。Laplacian算子通过计算图像灰度值的二阶导数，能够有效识别图像中的边缘部分。本文将从背景描述开始，逐步深入到技术原理、架构解析、源码分析、
文章大纲：Async IO的概述以及使用Async IO的原理一、Async IO概述1.什么是Async IO对于IO，我们都清楚有同步IO和异步IO，那么在Flink中，什么是Async IO，它是怎么样应用的呢？在有些流式应用的场合中，我们都会去与外部系统进行交互，比如连接数据库等。当我们需要向外部系统发送一个请求a的时候，我们需要等待它返回结果，这是同步的模式。考虑到吞吐量和延迟，我们可以
转载
2024-04-19 05:29:27
310阅读
（练习记录）图像处理基本都是处理灰度图，首先要把彩色图转为灰度图x=rgb2gray(x) 边缘检测（算子比较）BW_sobel=edge(x,'sobel');BW_prewitt=edge(x,'prewitt');BW_roberts=edge(x,'roberts');函数 edge 处理后得到的图像都是二值图像。[g,t] = edge(f, '算子名', T, dir);f
转载
2024-10-28 01:09:34
41阅读
/** * updataeStateByKey : * 1).可以更新key的状态,统计自从SparkStreaming 启动以来所有key的状态值 * 2).需要设置checkpo
原创
2022-07-01 17:39:26
53阅读
编写一个Ascend C的sqrt算子，并通过内核调用方式在cpu和npu模式下进行验证。
原创
精选
2023-06-06 15:11:43
502阅读
点赞
