一、RDD.fold和Scala.fold使用之间的差别1.Scala中fold的使用val t1=Array(("C++", (1,"1")), ("Java", (2,"2")),("Java", (2,"2")), ("SQL", (3,"3")), ("Python", (4,"4")))
val rst=t1.foldLeft(("",0,""))((sum,obj)=>{
(s
转载
2023-12-15 17:54:45
78阅读
上周终于把coursera上的一门数据课程结束了，并且通过了，周四根据课程assignment做的实验印象很深，觉得有必要记下来。
Hadoop Platform and Application Framework by University of California, San Diego
https://www.coursera.org/learn/hadoop/home/
转载
2023-12-11 22:07:31
96阅读
一：分布式基础架构 二：Spark大数据分析计算引擎Spark在传统的MapReduce 计算框架的基础上，对计算过程的优化，从而大大加快了数据分析、挖掘的运行和读写速度，并将计算单元缩小到更适合并行计算和重复使用的RDD计算模型。软件是完整的，框架是不全的，我们自己写的代码逻辑，需要部署到环境中才能够运行；val spakConf = new SparkConf
转载
2023-10-11 15:26:55
494阅读
spark基本概念：
•RDD：是ResillientDistributed Dataset（弹性分布式数据集）的简称，是分布式内存的一个抽象概念，提供了一种高度受限的共享内存模型
•DAG：是Directed Acyclic Graph（有向无环图）的简称，反映RDD之间的依赖关系
•Executor：是运行在工作节点（WorkerNode）的一个进程，负责运行Task
转载
2024-04-07 20:32:15
50阅读
文章目录前言概述Spark和MR的数据处理流程对比Spark的组成示意图Spark模块Spark特点Spark的运行模式Spark官方测试案例SparkWebUISpark通用运行简易流程Spark核心概念RDD特点WordCount案例数据分区算子转换算子行动算子序列化血缘关系：RDD的持久化和检查点：RDD的分区器：文件数据的读取和存储广播变量：累加器：自定义累加器：案例：练习： 计算每个省
转载
2024-01-12 18:57:09
297阅读
在软件工程领域，对于各类操作系统结构的深入理解是必不可少的一环。近年来，华为推出的鸿蒙系统备受瞩目，其独特的系统结构和设计理念成为了软考中的热点话题。本文将围绕“鸿蒙系统结构图”展开详细解析，探讨其架构特点、应用优势以及在软考中的重要性。
首先，我们来解读鸿蒙系统的整体结构。鸿蒙系统采用分层设计，从下到上依次分为内核层、系统服务层、框架层和应用层。这种层次化的结构使得系统各组件之间耦合度降低，提
原创
2024-05-29 14:21:38
158阅读
之前写了两篇博客（链接见末尾处），分别是讲述ZAB协议恢复模式中leader选举以及数据同步的，这两篇博客都是偏细节类型的博客，如果对zookeeper并不熟悉，看起来可能比较吃力，所以今天就准备从整体层面聊一聊Zookeeper的原理以及实现。一 PaxosZookeeper不管是leader选举，还是广播模式使用的都是paxos协议，确切来说是paxos协议的变种，所以我们首先了解
# Hive系统结构图实现步骤
## 简介
Hive是建立在Hadoop之上的数据仓库基础设施，它提供了一个SQL类似的查询语言——HQL（Hive Query Language），可以将结构化的数据文件映射为一张数据库表，并提供简单的SQL查询功能。要实现Hive系统结构图，可以按照以下步骤进行操作。
## 步骤
| 步骤 | 操作
原创
2023-08-22 11:02:57
60阅读
# MySQL系统结构详解
MySQL是一个开源的关系型数据库管理系统，广泛应用于Web应用程序的后台数据存储。MySQL系统结构是一个复杂的系统，包括各种组件和模块，它们协同工作以提供高效的数据存储和检索功能。本文将介绍MySQL系统结构的各个组成部分，并通过代码示例演示其功能。
## MySQL系统结构图
：信号引出或测量的位置，从同一位置引出的信号在数值和性质方面完全相同；比
转载
2023-11-01 22:38:47
761阅读
了解进程资源图二 化简资源分配图方法步骤第一步：先看系统还剩下多少资源没分配，再看有哪些进程是不阻塞（“不阻塞”即：系统有足够的空闲资源分配给它）的第二步：把不阻塞的进程的所有边都去掉，形成一个孤立的点，再把系统分配给这个进程的资源回收回来第三步：看剩下的进程有哪些是不阻塞的，然后又把它们逐个变成孤立的点。第四步：最后，所有的资源和进程都变成孤立的点。这样的图就叫做“可完全简化”。如果一个图可完全
转载
2024-07-04 22:00:06
36阅读
目录实验环境准备：PC端与Sensor-EH读写器模块的连接实验第一部分：超高频RFID寻卡操作实验第二部分：超高频RFID防冲突机制实验第三部分：超高频RFID读写卡操作各内存区数据读取操作各内存区数据写入操作（见图16）实验第四部分：其他设置实验环境准备：PC端与Sensor-EH读写器模块的连接首先需要用跳线帽将Sensor-EH读写器模块的跳线跳到USB端。使用USB线将超高频读写器模块与
转载
2023-10-21 08:32:14
137阅读
