文/李萌Spark作为分布式计算引擎的一颗璀璨之星，继承了MapReduce分布式并行计算的优点，并改进了MapReduce明显的缺陷。它使用一种面向对象、函数式编程语言Scala来实现，能够像操作本地集合对象一样轻松地操作分布式数据集，具有运行速度快、易用性好、通用性强、兼容性好等诸多优点。图1.大数据生态从整个大数据生态来看，Spark和MapReduce同为大数据计算框架，但是Spar
转载
2024-05-24 08:47:09
83阅读
目录1. RDD之间的依赖（以分区为说明）2. RDD任务划分原理3. Spark中RDD执行阶段划分示意图1. RDD之间的依赖（以分区为说明）窄依赖：每一个父RDD的Partition中的数据，最多被子RDD的一个Partition使用（单分区 -> 单分区）； 窄依赖在源码里是OneToOn
图像识别（image recognition）是现在的热门技术。文字识别、车牌识别、人脸识别都是它的应用。但是，这些都算初级应用，现在的技术已经发展到了这样一种地步：计算机可以识别出，这是一张狗的照片，那是一张猫的照片。 这是怎么做到的？ 让我们从人眼说起，学者发现，人的视觉细胞对物体的边缘特别敏感。也就是说，我们先看到物体的轮廓，然后才判断这到底是什么东西。计算机科学家受
转载
2024-02-23 17:18:54
93阅读
三、功能介绍整个音乐流量可视化系统，主要包含前台和后台，前台是可视化数据，呈现大屏幕效果，主要包含了音乐数据的分析，以及音乐播放量分析，音乐专辑分析，用户登录信息，后台包含登录注册功能，以及个人中心修改资料，音乐数据添加，对用户的删除和查看，音乐数据的预测分析，以及系统权限的设置，具体如下图所示。图4-1音乐数据分析系统的分析四、核心代码部分代码：def users\_login(request)
作者：yangyaqin图像识别全流程代码实战实验介绍图像分类在我们的日常生活中广泛使用，比如拍照识物，还有手机的AI拍照，在学术界，每年也有很多图像分类的比赛，本实验将会利用一个开源数据集来帮助大家学习如何构建自己的图像识别模型。本实验会使用MindSpore来构建图像识别模型，然后将模型部署到ModelArts上提供在线预测服务。主要介绍部署上线，读者可以根据【实验课程】花卉图像分类实验（&n
转载
2024-05-10 07:47:00
168阅读
&nbs
转载
2024-03-28 09:11:40
199阅读
关于图像处理方面的收获：五月中旬的时候接了个细胞检测的活，要求识别白细胞、红细胞、脂肪球、霉菌几种细胞，大致看了客户发给我显微镜上的图片，发现能做，于是就接了下来，客户告诉我最终的程序要是C++的编译成DLL给他们的应用程序调用才可以，本人因为一直做Java，做C++还是12年前毕业设计的时候做了图像相关的东西。从那之后，做项目偶尔也会搞点C++但是基本上就一直停留在Hello World的水平上
转载
2024-04-17 17:12:04
126阅读
伴随着图像处理技术的飞速发展，推动了图像识别技术的产生和发展，并逐渐成为人工智能领域中重要的组成部分，并广泛地运用于面部识别、指纹识别、医疗诊断、汽车交通等等领域中，发挥重要作用。图像识别技术概述图像识别技术的含义图像识别是人工智能的一个重要领域，是指利用计算机对图像进行处理、分析和理解，以识别各种不同模式的目标和对像的技术。一般工业使用中，采用工业相机拍摄图片，然后再利用软件根据图片灰阶差做进一
转载
2024-02-18 11:56:10
142阅读
整理 | 专知本文主要介绍了一些经典的用于图像识别的深度学习模型，包括AlexNet、VGGNet、GoogLeNet、ResNet、DenseNet的网络结构及创新之处，并展示了其在ImageNet的图像分类效果。这些经典的模型其实在很多博文中早已被介绍过，作者的创新之处在于透过这些经典的模型，讨论未来图像识别的新方向，并提出图像识别无监督学习的趋势，并引出生成对抗网络，以及讨论了加速网络训练的
转载
2024-05-16 20:05:36
117阅读
目录1. 数字图像概念1.1 图像采样和量化1.2 图像存储格式2.图像的直方图2.1 灰度直方图2.1.1 基本概念2.1.2灰度直方图归一化2.1.3 直方图应用3.图像增强3.1 图像增强概念3.2 图像增强方法3.2.1 方法概述3.2.1 空间域增强3.2.1.1 空间域增强（灰度变换）3.2.1.2 空间域增强（代数运算）3.2.1.3 空间域滤波3.2.2 频率域增强 学习自：M
转载
2024-04-08 22:37:39
253阅读
文章目录K最近邻法-KNNN折交叉验证法KNN总结：线性分类器得分函数损失函数（代价函数）损失函数1：hinge loss/支持向量机损失损失函数2：互熵损失（softmax分类器） K最近邻法-KNN现在用的比较少，因为其比较耗费内存，运行速度较慢练习： CIFAR-10数据集 60000张32*32小图片，总共10类，50000张训练和10000测试 下图第一行，左侧为大量的飞机数据，右侧第
转载
2024-02-24 12:19:23
171阅读
概念框架环境配置data_preparaation.py(作用：摄像头抓拍与保存人脸)import cv2
def CatchPICFromVideo(catch_num, path_name):
face_cascade = cv2.CascadeClassifier('E:/anaconda/Anaconda3/pkgs/libopencv-3.4.2-h20b85fd_0/Libra
转载
2024-06-05 13:26:05
202阅读
模式识别之图像识别笔记图像识别技术的定义为利用计算机对图像进行处理、分析和理解，以识别不同模式的目标和对象的技术。图像识别系统可以分为三个部分： 1、图像处理(1) 基本概念① 定义：把输入图像转化为计算机能够接受处理的信号，再进行图像恢复、增强等预处理操作② 目的：为之后的图像特征做准备(2) 主要方法① 图像的数字化：对图
转载
2024-02-20 11:33:07
265阅读
（刚刚转C#，一个项目用到，就分享出来，第一次写博客，有不足之处还请指正，某些编写方式只是习惯使然） 1、首先，在百度AI平台进行注册登录：百度AI 2、然后点开右上角的控制台，找到图像识别，创建应用，然后就可以看到创建的密钥，我们主要获取以下几个参数， API_KEY， SECRET_KEY 3、将对应C#版本的SDK下载后，添加引用到工程文件引用中； 主要是以下两个.dll库，分别是 Aip.
转载
2023-12-24 18:31:40
118阅读
在python3下用PIL做图像处理 Python Imaging Library (PIL)是python下的图像处理模块，支持多种格式，并提供强大的图形与图像处理功能。目前PIL的官方最新版本为1.1.7，支持的版本为python 2.5, 2.6, 2.7，并不支持python3，但有高手把它重新编译生成python3下可安装的exe了。这一非官方下载地址http://www.lf
图像识别过程分为图像处理和图像识别两个部分。图像处理部分内容参考此篇：图像识别过程（以下图像识别内容同样参考本篇）图像识别将图像处理得到的图像进行特征提取和分类。识别方法中基本的也是常用的方法有统计法(或决策理论法)、句法(或结构)方法、神经网络法、模板匹配法和几何变换法。1)统计法(StatisticMethod) 该方法是对研究的图像进行大量的统计分析,找出其中的规律并提取反映图像本质特点的特
转载
2023-08-21 23:23:35
952阅读
文章目录一、图像识别＆经典数据集1、Cifar数据集2、 ImageNet二、CNN三、卷积神经网络常用结构1、卷积层2、池化层（２）实现四、经典CNN模型1、LeNet-5 模型（1998）（１）模型（２）代码示例2、CNN模型正则表达3、Inception-v3模型（１）Inception结构（２）Inception模块实现五、ＣＮＮ迁移学习1、迁移学习介绍2、TF实现迁移学习（１）获取数据
转载
2024-01-11 20:13:54
291阅读
face_recognition人脸识别模块的使用教程文章目录：一、face_recognition模块介绍二、face_recognition模块的使用和案例介绍 为什么要用这个，当然是简单快捷，封装API易于使用，准确率还行，还开源，当然是不二之选啦一、face_recognition模块介绍face_recognition基于dlib实现，用深度学习训练数据，模型准确率高达99.38%gi
转载
2024-07-01 16:40:05
116阅读
搜索是我们很多人发现信息的主要渠道，但只能搜索文字显然是不够的，图像和视频肯定是搜索领域的下一个发展方向。当然，GooglePhotos已经能够部分实现这个功能了，但很显然这还远远不够。 不过Google在周三宣布，他们提供了一个强大的图像识别工具，名为GoogleCloudVisionAPI。对于开发者们来说，这可能会是一个非常有用的工具，有了它，开发者们就可以让自己的软件、机器人知道图像
转载
2024-03-26 09:53:39
115阅读
一、数据准备 首先要做一些数据准备方面的工作：一是把数据集切分为训练集和验证集， 二是转换为tfrecord 格式。在data_prepare／文件夹中提供了会用到的数据集和代码。首先要将自己的数据集切分为训练集和验证集，训练集用于训练模型， 验证集用来验证模型的准确率。这篇文章已经提供了一个实验用的卫星图片分类数据集，这个数据集一共6个类别， 见下表所示 在data_prepare
转载
2024-08-08 15:46:22
183阅读
