HDFS简介 HDFS(Hadoop Distributed File System)是Hadoop项目的核心子系统，是分布式计算中数据存储管理的基础，是基于流数据模式访问和处理超大文件的需求而开发的，可以运行于廉价的商用服务器上。它所具有的高容错、高可靠性、高可扩展、高吞吐量等特性为海量数据提供了不怕故障的存储，为超大数据集的应用处理带来了很多遍历。 HDFS基础概念数据块H
转载
2024-05-24 18:58:03
65阅读
一. Partitioner分区1. Partitioner的作用:进行MapReduce计算时，有时候需要把最终的输出数据分到不同的文件中，我们知道最终的输出数据是来自于Reducer任务。那么，如果要得到多个文件，意味着有同样数量的Reducer任务在运行。Reducer任务的数据来自于Mapper任务，也就说Mapper任务要划分数据，对于不同的数据分配给不同的Reducer任务运行。Ma
转载
2024-04-18 16:01:58
39阅读
阅识风云是华为云信息大咖，擅长将复杂信息多元化呈现，其出品的一张图(云图说)、深入浅出的博文(云小课)或短视频(云视厅)总有一款能让您快速上手华为云。摘要：当HDFS集群出现DataNode节点间磁盘利用率不平衡时，会导致MapReduce应用程序无法很好地利用本地计算的优势、数据节点之间无法达到更好的网络带宽使用率等问题。因此管理员需要定期检查并保持DataNode数据平衡。作者：阅识风云HDF
转载
2024-04-10 21:22:32
128阅读
一、ES集群规划与调优
### --- ES集群规划：我们需要多大规模的集群
~~~ # 需要从以下两个方面考虑：
~~~ 当前的数据量有多大？数据增长情况如何？
~~~ 你的机器配置如何？cpu、多大内存、多大硬盘容量？
~~~ # 推算的依据：
~~~ Elasticsearch JVM heap 最大可以设置32G 。
~~~
一、概述公司使用是自己搭建的hadoop集群，版本2.7.3，最近发现出现了hdfs数据存储不均衡的现象，其中有一个datanode使用了65%，而有一个只使用了20%。hadoop集群使用的时间长了会出现这种数据不均衡的问题，当然hadoop提供了解决方案，就是使用balancer，默认进行的是datanode级别的数据均衡，但是2.X版本还不支持datanode内的磁盘之间数据均衡，hadoo
转载
2023-12-03 08:56:03
227阅读
HDFS-RAIDHDFS-RAID是Facebook基于hadoop-20-append分支(第一代Hadoop)开发的raid方案，对HDFS的修改极少，主要包括为NameNode增加了根据block信息找到block所属文件的接口。本文重点分析HDFS-RAID的原理和实现。业界常用的编码方式包括Reed-Solomon(RS)，XOR，他们本质上都是对N个数据块就行运算，产生K个校验块。这
一、概述公司使用是自己搭建的hadoop集群，版本2.7.3，最近发现出现了hdfs数据存储不均衡的现象，其中有一个datanode使用了65%，而有一个只使用了20%。hadoop集群使用的时间长了会出现这种数据不均衡的问题，当然hadoop提供了解决方案，就是使用balancer，默认进行的是datanode级别的数据均衡，但是2.X版本还不支持datanode内的磁盘之间数据均衡，hadoop在3.0以后的版本里面提供了相关的支持,参考https://hadoop.apache.org/docs/
转载
2021-08-10 09:38:06
618阅读
一、概述公司使用是自己搭建的hadoop集群，版本2.7.3，最近发现出现了hdfs数据存储不均衡的现象，其中有一个datanode使用了65%，而有一个只使用了20%。hadoop集群使用的时间长了会出现这种数据不均衡的问题，当然hadoop提供了解决方案，就是使用balancer，默认进行的是datanode级别的数据均衡，但是2.X版本还不支持datanode内的磁盘之间数据均衡，hadoop在3.0以后的版本里面提供了相关的支持,参考https://hadoop.apache.org/docs/
转载
2022-01-22 17:56:08
318阅读
Hadoop 是什么Hadoop 是一个开源的大数据框架同时也是一个分布式计算的解决方案。Hadoop = HDFS （分布式文件系统）+MapReduce（分布式计算）HDFSHDFS 概念数据块NameNodeDataNode 数据块：数据块是一个抽象的块，而不是整个文件。默认大小是64Mb，一般设置为128Mb，备份x3数据块的大小可以随着磁盘传输速率的提升而得到增加。HDFS的块比磁盘的大
转载
2024-05-02 21:47:08
53阅读
HashMap和Hashtable的联系和区别 实现原理相同，功能相同，底层都是哈希表结构，查询速度快，在很多情况下可以互用，早期的版本一般都是安全的。HashMap和Hashtable都实现了Map接口，但决定用哪一个之前先要弄清楚它们之间的分别。主要的区别有：线程安全性，同步(synchronization)，以及速度。 HashMap几乎可以等价于Hashtable，除了HashMap是
# 如何实现Spark Executor分配不均
## 1. 了解整个流程
在Spark中，Executor是负责执行任务的工作节点。当Executor分配不均匀时，会导致部分节点负载过重，影响整体性能。下面是解决这个问题的具体步骤：
```mermaid
journey
title 整个流程
section 理解问题
开发者：明确Executor分配不均的问
原创
2024-04-02 06:10:25
292阅读
背景原弹性伸缩ESS服务限定，由伸缩组弹出的ECS机器的生命周期完全由伸缩组管理，而伸缩组会时刻对机器做健康检查，如果检测到伸缩组下的机器为不健康状态，便会释放该机器。所以弹性伸缩ESS新支持了standby状态，处于此状态的机器不会进行健康检查以及释放操作，而且如果对应伸缩组配置了负载均衡SLB，则该standby实例的slb权重会置零。此时，该实例的生命周期交由用户管理，而非弹性伸缩ESS。功
对于读多写少的高并发场景，我们会经常使用缓存来进行优化。比如说支付宝的余额展示功能，实际上99%的时候都是查询，1%的请求是变更(除非是土豪，每秒钟都有收入在不断更改余额)，所以，我们在这样的场景下，可以加入缓存，用户->余额。以下这张图是我们读取数据的操作。Redis缓存与数据一致性问题那么基于上面的这个出发点，问题就来了，当用户的余额发生变化的时候，如何更新缓存中的数据，也就是说。我是先
1、HDFS的6大特性（1）分布式存储数据（2）高并发访问（3）高可靠性，安全性（4）文件顺序访问（5）数据块存储数据（6）一次写入，多次读取简单的模型，HDFS一般不支持修改，但是支持追加2、HDFS的工作的基本框架与几个重要的概念NameNode的作用：（1）主要是存储于管理整个分布式文件系统目录结构（2）接收用户的请求，并且快速的响应（3）记录文件对应的数据块（4）记录数据块所在的DataN
转载
2024-04-24 20:10:51
35阅读
问题描述es部署后可能因为配置原因导致es节点不在集群中，但是进程依然存在。 现在已下面5台机器作为测试演练一开始按照之前的es部署方案，会在5台中选择一台作为主节点，当然该节点也充当了数据节点的功能。第一步：（22,23,24,25,26分别对应图中的06-10机器）在5台机器上部署成功后，一开始23为主节点。（这时候23推选为主节点，也充当了数据节点。所以22,23,24,25,26节点上有数
转载
2024-04-03 19:21:09
542阅读
近es集群磁盘空间告警，日志又没地方可以迁移，然后申请了新的服务器，一次性加入8台新的服务器
新增了32个新的数据节点，至此，我们的主集群已经到达85个数据节点的规模，整个集群数据已达到PB级别，终于可以跟别人炫耀我是做大数据的了。O(∩_∩)O哈哈~
但是随着集群节点的不断壮大，问题也随之而来，刚开始加入新节点后，发现所有数据分片都会在新节点上，但是过几天后，发现只有少部分在新节点上。
然后
原创
2021-09-04 13:48:27
1347阅读
一、nginx负载均衡集群介绍：1.反向代理与负载均衡概念简介严格地说, nginx仅仅是作为 Nginx Proxy反向代理使用的,因为这个反向代理功能表现的效果是负载均衡集群的效果,所以本文称之为nginx负载均衡。那么,反向代理和负载均衡有什么区别呢?普通负载均衡软件,例如大名鼎鼎的LVS,其实现的功能只是对请求数据包的转发(也可能会改写数据包)、传递,其中DR模式明显的特征是从负载均衡下面
出现如下图磁盘水平线报警问题会导致副本unassigned 定位问题：有两个 data node磁盘容量为90% 以上。 解决问题：将磁盘容量将低到80% 以下后，自动平衡完成。 开启重分配命令： 可以在kibana调整es磁盘水平线，即磁盘空间占用情况和分片的情况。
转载
2019-04-04 14:35:00
502阅读
2评论
知乎上很多概率论上的错误答案，都是假定了整数上存在均匀概率分布。事实上这意味着一个定义在整数上的，平移不变的概率分布，即
.并且作为概率分布，要求可列可加性，即最多可列个互斥集合的并的概率等于各自概率之和。
这个概率分布显然不存在，因为假如一个整点的概率为p，则每个整点的概率都是p。如果p大于0，足够多整点的概率大于1. 如果p等于0，则
作为所有整点的并，
目录 数据不均衡问题可以使用的方法：1. 使用正确指标评估权值2. 采样 3.数据合成4.算法层面分类器算法上的改进 代价敏感学习算法(Cost-Sensitive Learning) 例子：改进分类器的代价函数：C-SVC算法的SVM数据不均衡问
转载
2024-03-29 19:22:49
29阅读
