目录4. RDD 入门4.1 RDD 是什么4.2 RDD 的分区4.3 创建 RDD4.3.1 通过本地集合直接创建 RDD4.3.2 通过读取外部文件创建 RDD4.3.3 通过其它的 RDD 衍生新的 RDD4.4 RDD 算子4.4.1 Map 算子4.4.2 FlatMap 算子4.4.3 ReduceByKey 算子4. RDD 入门目标上面通过一个 WordCount 案例, 演示了
转载
2023-12-18 15:25:26
39阅读
本期内容：
1. Batch Duration与Process Time
2. 动态Batch Size
不要低估Batch Duration与Process Time匹配的问题。两者关系不是线性规律。不是数据量大，就简单加大Batch Duration来解决问题。前面推荐的论文很重要。参加定制班，不是简单学编程，要懂得设计思想。
我们
转载
2024-01-22 10:39:14
81阅读
Spark两种Shuffle在spark1.1以前只有hashshuffle，1.1版本引入了sortshuffle，1.2版本以后默认方式改为sort方式，2.0版本以后移除了hashshuffle。HashShuffle执行原理：Map阶段的shuffle是为了下一个stage的task拉取数据作的。每个Map阶段task把要输出的数据按key进行hash根据hash得到的值，生成和下一个st
转载
2023-11-24 20:14:47
51阅读
内容：#1.Linux查看系统块大小
#2.Linux 块大小（Block Size）详解
#3.linux下如何查看和修改系统BLOCK的大小
#4.为什么Linux默认页大小是4KB
#5.设置区块大小，发挥RAID上LVM及EXT的最佳性能
#6.搬运学习博客链接#1.Linux查看系统块大小1）fdisk -l查看block sizefdisk -l /dev/sda12）stat命令查看
转载
2023-07-06 11:57:03
180阅读
## Spark Block管理
Apache Spark是一个快速、通用、可扩展的大数据处理系统，它提供了高效的数据处理能力和易于使用的API。在Spark中，block是数据处理的基本单元，Spark通过BlockManager来管理这些block，以保证数据可以被高效地处理和共享。
### BlockManager概述
BlockManager是Spark中用于管理block的模块，它
原创
2024-03-24 05:16:38
44阅读
Emmet (前身为 Zen Coding) 是一个能大幅度提高前端开发效率的一个工具: 基本上，大多数的文本编辑器都会允许你存储和重用一些代码块，我们称之为“片段”。虽然片段能很好地推动你得生产力，但大多数的实现都有这样一个缺点：你必须先定义你得代码片段，并且不能再运行时进行拓展。 Emmet把片段这个概念提高到了一个新的层次：你可以设置CSS形式的能够动态被解析的表达式，然后根据你所输入的
概念文件系统磁盘进行读写的最小单位：数据块，文件系统构建于磁盘之上，文件系统的块大小是磁盘块的整数倍。文件系统块一般为几千字节，磁盘块一般512字节。hdfs的block、pocket、chunkblock hdfs的块，常说的block，是这三个里最大的单位。默认128MB（配置参数：dfs.block.size）。128MB的原因：块太小会增加寻址时间；块太大会减少Map的任务（通常
转载
2023-09-16 12:52:30
121阅读
# Spark 如何通过 Block 的大小调整并行度
Apache Spark 是一个通用的分布式计算框架，它能够处理大规模的数据集。一方面，分区的数量会影响并行度，另一方面，Spark 采用了块（Block）的概念来管理数据。通过调整块的大小，我们可以优化 Spark 程序的性能，提升并行度。本文将探讨如何通过调整 Spark 中块的大小来提高并行度，并通过示例展示具体的实现步骤。
##
原创
2024-09-27 05:04:18
69阅读
1.缓冲区大小 hadoop使用了一个4KB（4096字节）的缓冲区辅助I/O操作。对于目前硬件来说，这个容量有点偏小，我们可以通过改变core-site.xml文件中io.file.buffer.size属性来设置缓冲区的大小，比如：128KB等。通过增大缓冲区容量能够显著提高性能。2.HDFS块大小 在默认情况
转载
2024-08-23 13:59:31
49阅读
Linux操作系统中，文件系统的block大小对于文件的存储和读取效率起着非常重要的作用。通过查看block大小，可以帮助用户更好地了解系统的存储情况，并且可以根据实际需求来进行调整和优化。
在Linux系统中，每个文件系统对应的block大小是固定的，一般是4KB。这个block大小在创建文件系统的时候就已经确定了，在大多数情况下是不能更改的。因此，要查看某个文件系统的block大小，可以使用
原创
2024-03-29 12:23:53
128阅读
# Hadoop修改Block大小
在Hadoop中，Block是文件存储和处理的基本单位。默认情况下，Hadoop中的Block大小为128MB，然而，有时候这个大小可能不适用于特定的应用场景。本文将介绍如何修改Hadoop的Block大小，并提供相应的代码示例。
## 什么是Hadoop的Block？
在Hadoop中，文件被分成一个或多个Block进行存储。每个Block都是文件的逻辑
原创
2023-11-06 11:44:57
81阅读
# Hadoop 编辑 Block 大小
在大数据处理领域，Hadoop 是一个非常受欢迎的框架。它使用分布式文件系统（HDFS）来存储和处理大数据。HDFS 中的文件被划分为多个固定大小的块（Block），这些块分散存储在集群中的不同节点上。理解和编辑 Hadoop 中的 Block 大小，对于优化存储和性能具有重要意义。
## 什么是 Block
在 HDFS 中，文件被划分为多个块，默
原创
2024-09-24 07:40:02
56阅读
# Python 中的 Display Block 大小探索
在数据可视化领域，Python是一个非常强大的工具。尤其是在分析和展示大量数据时，如何制定合适的“Display Block”大小成为了一个重要的话题。Display Block 通常是指在屏幕上展示图形、表格等数据块的大小，过大或过小都可能影响信息的可读性和用户体验。在本篇文章中，我们将探讨如何在 Python 中调整 Displa
# HBase Block 默认大小的设置与实现
HBase 是一个分布式的、可扩展的 NoSQL 数据库，广泛用于海量数据的存储与检索。在 HBase 中，Block 是基本的存储单元，其大小影响到数据的读取效率。了解如何设置 HBase Block 默认大小是开发中一个非常重要的任务。本文将详细解释如何实现 HBase Block 默认大小的配置，并提供代码示例以及其他必要的说明。
##
Spark 性能调优之并行度设置Spark 作业中的并行度什么是并行度Spark 在每一个 stage 中 task 数量，就称为这个 stage 上的并行度；为什么要设置并行度如果你按照集群能给的最大资源给当前 Spark 应用分配资源，但是你的并行度却没有达到你分配的资源，没有充分利用资源;假设：现在已经在spark-submit 脚本里面，给我们的spark作业分配了足够多的资源，比如50个
转载
2023-09-16 17:02:17
70阅读
在Linux系统中，block是一个基本的概念，它是文件系统的基本单位之一。在Linux中，block有一个默认大小，这个大小对于文件系统的性能和使用效果有很大的影响。
Linux系统中的block默认大小通常是4KB，这个大小在大多数情况下是合适的。然而，在一些特殊的情况下，这个默认大小可能不够，比如当处理大型文件或者需要高性能的存储系统时。
对于处理大型文件来说，如果block的大小过小，
原创
2024-04-02 11:16:06
217阅读
## Hadoop配置Block大小
### 1. 概述
Hadoop是一个开源的分布式计算框架，用于处理大规模数据集的分布式存储和计算。在Hadoop中，数据以文件块的形式存储在分布式文件系统（HDFS）中。每个文件被分割成固定大小的块，并在集群中的多个节点上进行存储。默认情况下，Hadoop使用64MB作为块大小，但有时可能需要更改块大小以适应特定的需求。
本文将指导您如何配置Hadoo
原创
2023-08-21 03:31:04
155阅读
Hadoop - HDFS简介Hadoop Distributed File System，分布式文件系统架构Block数据块;基本存储单位，一般大小为64M（配置大的块主要是因为：1）减少搜寻时间，一般硬盘传输速率比寻道时间要快，大的块可以减少寻道时间；2）减少管理块的数据开销，每个块都需要在NameNode上有对应的记录；3）对数据块进行读写，减少建立网络的连接成本）一个大文件会被拆分成一个个
转载
2023-07-12 15:21:28
286阅读
“RDD是由不同的partition组成的，transformation和action是在partition上面进行的；而在storage模块内部，RDD又被视为由不同的block组成，对于RDD的存取是以block为单位进行的，本质上partition和block是等价的，只是看待的角度不同。在Spark storage模块中中存取数据的最小单位是block，所有的操作都是以block为单位进行
转载
2024-05-17 21:42:36
201阅读
一、InnoDB内存结构内存结构主要包括：Buffer Pool，Change Buffer ,Adaptive Hash index 和LogBuffer四个组件
- Buffer Pool：缓冲池，简称BP。BP以Page页为单位，默认大小16K，BP的底层采用链表数据结构管理Page。
在InnoDB访问表记录和索引时会在Page页中缓存，以后使用可以减少磁盘IO操作，提升效率。
1
转载
2024-02-02 05:54:53
32阅读
