用ImageJ打开需要测量的细胞荧光图片后1-1，Image → Duplicate，弹出Duplicate窗口。Title一般是xxx-1（xxx代表原图片名），不用改，直接点OK。1-2，Image → Type → 8-bit1-3，Image → Adjust → threshold，弹出Threshold窗口1-4，调节这个窗口中间两个横向的滚动条，使图片中的细胞为红色，背景为黑色，其中
转载
2024-01-14 16:30:36
95阅读
Spark 开发原则坐享其成要省要拖跳出单机思维 应用开发原则 ：坐享其成 : 利用 Spark SQL 优化能省则省、能拖则拖 : 节省数据量 , 拖后 Shuffle跳出单机思维 : 避免无谓的分布式遍历坐享其成设置好配置项，享受 Spark SQL 的性能优势，如钨丝计划、AQE、SQL functions钨丝计划：Tungsten 自定义了紧凑的二进制格式的数据结构，避免了 Java 对
转载
2024-01-28 01:18:02
100阅读
点赞
Spark扩展持久化RDD Cache缓存RDD CheckPoint 检查点缓存和检查点区别自定义分区存储与读取累加器广播持久化RDD Cache缓存RDD 通过 Cache 或者 Persist 方法将前面的计算结果缓存，默认情况下会把数据以缓存在 JVM 的堆内存中。但是并不是这两个方法被调用时立即缓存，而是触发后面的 action 算子时，该 RDD 将会被缓存在计算节点的内存中，并供后面重用。// cache 操作会增加血缘关系，不改变原有的血缘关系println(wordToOneR.
原创
2022-03-23 10:21:17
998阅读
一、什么是SparkApache Spark 是专为大规模数据处理而设计的快速通用的计算引擎。Spark是UC Berkeley AMP lab (加州大学伯克利分校的AMP实验室)所开源的类Hadoop MapReduce的通用并行框架。Spark，拥有Hadoop MapReduce所具有的优点；但不同于MapReduce的是——Job中间输出结果可以保存在内存中，从而不再需要读写HDFS，因
转载
2023-07-12 09:57:21
441阅读
1、Application application（应用）其实就是用spark-submit提交的程序。一个application通常包含三部分：从数据源（比方说HDFS）取数据形成RDD，通过RDD的transformation和action进行计算，将结果输出到console或者外部存储。2、Driver Spark中的driver感觉其实和yarn中Application Master的
转载
2023-11-02 10:32:42
202阅读
一、定义与特点定义
专为大规模数据处理而设计的快速通用的计算引擎，并形成一个高速发展应用广泛的生态系统。特点
速度快
内存计算下，Spark 比 Hadoop 快100倍易用性
80多个高级运算符跨语言：使用Java，Scala，Python，R和SQL快速编写应用程序。通用性
Spark 提供了大量的库，包括SQL、DataFrames、MLib、Gra
转载
2023-08-10 09:12:39
366阅读
Spark官方文档: Spark Configuration（Spark配置）Spark主要提供三种位置配置系统：环境变量：用来启动Spark workers，可以设置在你的驱动程序或者conf/spark-env.sh 脚本中；java系统性能：可以控制内部的配置参数，两种设置方法：编程的方式（程序中在创建SparkContext之前，使用System.setProperty（“xx”，“xxx
原创
2017-07-03 11:19:00
6469阅读
点赞
spark架构设计 1 角色名称 Client,Driver program,cluster manager/Yarn，workerNode 2 角色作用 client：用户通过client提交application程序，shell命令等 Driver：启动sparkContext环境，将application程序转换成任务RDD和DAG有向图，与clustermanger进行资源交互，分配ta
转载
2023-12-09 15:40:46
163阅读
引入 一般来说，分布式数据集的容错性有两种方式：数据检查点和记录数据的更新。 面向大规模数据分析，数据检查点操作成本非常高，须要通过数据中心的网络连接在机器之间复制庞大的数据集，而网络带宽往往比内存带宽低得多，同一时候还须要消耗很多其它的存储资源。 因此，Spark选择记录更新的方式。可是，假设更新
转载
2017-07-13 21:10:00
2606阅读
2评论
一、官网介绍 1 什么是Spark 官网地址：://spark.apache.org/ Apache Spark 是专为大规模数据处理而设计的快速通用的计算引擎。Spark是UC Berkeley AMP lab (加州大学伯克利分校的AMP实验室)所开源的类Hadoop MapReduce ...
转载
2021-08-03 09:25:00
2527阅读
2评论
一、分区的概念 分区是RDD内部并行计算的一个计算单元，RDD的数据集在逻辑上被划分为多个分片，每一个分片称为分区，分区的格式决定了并行计算的粒度，而每个分区的数值计算都是在一个任务中进行的，因此任务的个数，也是由RDD(准确来说是作业最后一个RDD)的分区数决定。 二、为什么要进行分区 数据分区， ...
转载
2021-08-03 14:38:00
3049阅读
2评论
本编主要基于B站尚硅谷的视频及文档做出的一些改写和添加自己的理
原创
2022-03-23 10:24:56
832阅读
# 监控Spark History的入门指南
作为一名刚入行的开发者，监控Spark History可能是一个令人生畏的任务。但不用担心，本文将引导你一步步实现监控Spark History的过程。通过本文，你将学会如何设置和使用Spark监控工具，确保你的Spark作业运行得更加高效和稳定。
## 监控Spark History的流程
首先，让我们通过一个表格来了解整个监控流程的步骤：
原创
2024-07-30 11:25:29
641阅读
Spark SQL原理解析前言：Spark SQL源码剖析（一）SQL解析框架Catalyst流程概述Spark SQL源码解析（二）Antlr4解析Sql并生成树Spark SQL源码解析（三）Analysis阶段分析前面已经介绍了SQL parse，将一条SQL语句使用antlr4解析成语法树并使用访问者模式生成Unresolved LogicalPlan，然后是Analysis阶段将Unre
转载
2023-10-11 09:47:32
37阅读
概述Spark 应用程序由一个在集群上运行着用户的 main 函数和执行各种并行操作的 driver program（驱动程序）组成。Spark 提供的主要抽象是一个弹性分布式数据集（RDD）RDD 可以从一个 Hadoop 文件系统或其他地方获得。了让它在整个并行操作中更高效的重用，也许会让 Spark persist（持久化）一个 RDD 到内存中。最后，RDD 会自动的从节点故障中恢复。Sp
转载
2023-09-13 20:36:07
118阅读
本文主要介绍了spark的基本概念和交互式使用（Scala语言），不涉及在独立应用中使用spark、集群部署 1. Spark 是什么Apache Spark 是个通用的集群计算框架，通过将大量数据集计算任务分配到多台计算机上，提供高效内存计算。Spark 正如其名，最大的特点就是快（Lightning-fast），可比 Hadoop MapReduce 的处理速度快 100 倍。如果你
转载
2024-01-15 20:18:11
88阅读
目录前言：1、Spark概述1.1、什么是Spark（官网：http://spark.apache.org）1.2、为什么要学Spark1.3、Spark特点2、RDD概述2.1、什么是RDD2.2、RDD的属性2.3、创建RDD的两种方式2.4、RDD编程API2.5、RDD的依赖关系2.6、RDD的缓存2.7、DAG的生成总结： 目录前言：本篇文章只是简单介绍下Spark，然后对Spark的
转载
2023-06-19 18:55:06
210阅读
一、Spark三种分布式部署模式：1.1、Spark整体架构： 1.2、spark运行流程： 1、构建Spark Application的运行环境，启动SparkContext2、SparkContext向资源管理器（可以是Standalone，Mesos，Yarn）申请运行Executor资源，并启动StandaloneExecutorbackend。3、Executor
转载
2023-10-27 19:11:11
106阅读
MapReduce给用户提供了简单的编程接口，用户只需要按照接口编写串行版本的代码，Hadoop框架会自动把程序运行到很多机器组成的集群上，并能处理某些机器在运行过程中出现故障的情况。然而，在MapReduce程序运行过程中，中间结果会写入磁盘，而且很多应用需要多个MapReduce任务来完成，任务之间的数据也要通过磁盘来交换，没有充分利用机器的内存。为此，美国加州大学伯克利分校的 AMPLa
转载
2024-01-24 13:53:43
62阅读
概述spark 基础 --mvn -DskipTests clean package -rf :spark-core_2.11RDDresillient distributed dataset 弹性分布式数据集
分布式内存的抽象操作本地集合的方式来操作分布式数据集的抽象实现分布式只读且已分区集合对象,加载到内存处理容错实现
记录数据的更新 - spark记录RDD转换关系Lineage
转载
2023-11-28 08:39:32
92阅读
