TensorFlow发展及使用简介 2015年11月9日谷歌开源了人工智能系统TensorFlow，同时成为2015年最受关注的开源项目之一。TensorFlow的开源大大降低了深度学习在各个行业中的应用难度。TensorFlow的近期里程碑事件主要如下。2016年11月09日：TensorFlow开源一周年。2016年09月27日：TensorFlow支持机器翻译模型。2016年08月30
在前面的文章《OpenCV中feature2D学习——SURF和SIFT算子实现特征点检测》中讲了利用SIFT和SURF算子进行特征点检测，这里尝试使用FAST算子来进行特征点检测。 FAST的全名是：Features from Accelerated Segment Test，主要特点值计算速度快，比已知的其他特征点检测算法要快很多倍，可用于计算机视觉应用
一、前述Spark中控制算子也是懒执行的，需要Action算子触发才能执行，主要是为了对数据进行缓存。控制算子有三种，cache,persist,checkpoint，以上算子都可以将RDD持久化，持久化的单位是partition。cache和persist都是懒执行的。必须有一个action类算子触发执行。checkpoint算子不仅能将RDD持久化到磁盘，还能切断RDD之间的依赖关系。二、具体
本文将会深入介绍 MegEngine CUDA 平台的底层卷积算子的实现原理，并将会对 Nvidia CUTLASS 的 Implicit GEMM 卷积 文档 进行解读和补充。 ...
转载
2021-07-30 14:26:00
1315阅读
2评论
1 前言
从前文ATB是什么？可知，在Ascend Transformer Boost加速库（ATB）中存在三种类型的算子，那么这三种类型的算子，它们的执行流程是什么，和其它的CANN中的算子有什么区别。带着这些疑问，进入到本文内容。
2 实现一个ATB算子
阅读本文之前，可以先行看下前文
如何使用Ascend的ATB加速库？
对atb的开发流程，有个大概的感知。其大概分为以下10步：
ATB算
主要流程OB 中的每个算子都定义了 inner_open、 inner_get_next_row、inner_close 三个方法，他们一般负责算子初始化、计算和吐数据、扫尾。三个方法之间通过 ObExecContext、ObTaskExecutorCtx 以及算子 Ctx 来传递信息。 由于历史原因，各种 Ctx 之间的区隔比较模糊，特别是 ObExecContext 和 ObTaskExecu
原创
2023-06-15 15:24:37
216阅读
1.Transformations 转换算子概念： Transformations类算子是一类算子（函数）叫做转换算子，如map,flatMap,reduceByKey等。Transformations算子是延迟执行，也叫懒加载执行。Transformation类算子：算子释义filter过滤符合条件的记录数，true保留，false过滤掉。map将一个RDD中的每个数据项，通过map中的函数映射
转载
2024-09-21 12:42:51
43阅读
spark官方常用的32个算子spark常用的Transformationimport org.apache.spark.{HashPartitioner, SparkConf, SparkContext}
import scala.collection.mutable.ListBuffer
object Transformation {
val conf = new SparkConf(
转载
2024-08-30 14:37:27
25阅读
借用官网的一个例子：假设存在一个序列，序列中的元素是具有不同颜色与形状的图形，我们希望在序列里相同颜色的图形中寻找满足一定顺序模式的图形对（比如在红色的图形里，有一个长方形跟着一个三角形）。同时，我们希望寻找的模式也会随着时间而改变。在这个例子中，我们定义两个流，一个流包含图形（Item），具有颜色和形状两个属性。另一个流包含特定的规则（Rule），代表希望寻找的模式。Flink开发的时候，经常会
原创
2021-02-07 15:56:46
1194阅读
本文介绍了使用 tensorrt 实现 mish 算子的方法。
原创
2022-04-19 17:05:23
629阅读
摘要微分算子在图像处理中的作用主要是用在图像的边缘检测，而图像边缘检测必须满足两个条件：一能有效的抑制噪声，二能必须尽量精确定位边缘位置。现在常用的微分算子主要有：Sobel算子，Robert算子，Prewitt算子，拉氏算子，Canny算子，下面通过这两个必须满足的条件对这几种算子的性能进行分析。1.Sobel算子该算子主要用于边缘检测，在以离散的差分算子，用来运算图像亮度函数的梯度的近似值。该
转载
2024-03-29 15:38:32
181阅读
一、Apriori算法性质性质一：候选的k元组集合Ck中，任意k-1个项组成的集合都来自于Lk.性质二：若k维数据项目集X={i1,i2,…,ik}中至少存在一个j∈X，使得|L(k-1)(j)|<k-1,则X不是频繁项集。即若Lk-1中有一个元素C包含一个项目i，使得|L(k-1)(j)|<k-1，则所有Lk-1与C中元素连接生成的候选k维数据项集不可能是频繁项目集。eg.购物篮中的
目录3.1 Map3.2 FlatMap3.3 Filter3.4 KeyBy3.5 Reduce3.6 Fold3.7 Aggregations3.8 Window3.9 WindowAll4.0 Aggregations on windows4.1 Union4.2 Split4.3 select 3.1 MapDataStream → DataStream一对一转换,即输入的记录和
转载
2023-12-27 15:12:53
36阅读
一.onnx基本概念1、ONNX文件就是使用Protobuf序列化过后储存的二进制文件。什么是Protobuf？Protobuf是用来结构化数据的一种库，常用的结构化数据的库有JSON或XML，但他们的缺陷就是解析和反解析时速度慢，Protobuf的提出则解决了这个问题。那么什么是结构化数据呢？ 结构化数据存储格式不限于二进制，可以是文本、二进制或混合的形式，如JSON和XML都属于结构化数据存储
Spark支持两个类型（算子）操作：Transformation和ActionTransformation主要做的是就是将一个已有的RDD生成另外一个RDD。Transformation具有lazy特性(延迟加载)。Transformation算子的代码不会真正被执行。只有当我们的程序里面遇到一个action算子的时候，代码才会真正的被执行。这种设计让Spark更加有效率地运行。常用的Transf
转载
2024-06-09 00:56:42
43阅读
通过Laplacian算子实现边缘检测卷积python
在图像处理领域，边缘检测是一项重要的技术，广泛应用于计算机视觉、图像识别以及自动驾驶等领域。边缘检测的目标是识别图像中物体的边界或边缘信息。在此背景下，Laplacian算子被广泛应用于边缘检测中。Laplacian算子通过计算图像灰度值的二阶导数，能够有效识别图像中的边缘部分。本文将从背景描述开始，逐步深入到技术原理、架构解析、源码分析、
文章大纲：Async IO的概述以及使用Async IO的原理一、Async IO概述1.什么是Async IO对于IO，我们都清楚有同步IO和异步IO，那么在Flink中，什么是Async IO，它是怎么样应用的呢？在有些流式应用的场合中，我们都会去与外部系统进行交互，比如连接数据库等。当我们需要向外部系统发送一个请求a的时候，我们需要等待它返回结果，这是同步的模式。考虑到吞吐量和延迟，我们可以
转载
2024-04-19 05:29:27
310阅读
/** * updataeStateByKey : * 1).可以更新key的状态,统计自从SparkStreaming 启动以来所有key的状态值 * 2).需要设置checkpo
原创
2022-07-01 17:39:26
53阅读
编写一个Ascend C的sqrt算子，并通过内核调用方式在cpu和npu模式下进行验证。
原创
精选
2023-06-06 15:11:43
502阅读
点赞
Spark算子概述RDD：弹性分布式数据集，是一种特殊集合、支持多种来源、有容错机制、可以被缓存、支持并行操作，一个RDD代表多个分区里的数据集。RDD有两种操作算子：Transformation（转换）：Transformation属于延迟计算，当一个RDD转换成另一个RDD时并没有立即进行转换，仅仅是记住了数据集的逻辑操作Action（执行）：触发Spark作业的运行，真正触发转换算子的计算需
