1. Hadoop1. hadoop是一个分布式的、开源的、高可靠的、可扩展的软件框架。
分布式： 【GFS（存储），MapReduce（计算）两篇论文】【bigtable（大表）】
2. hadoop组成【2.7.3版本】
1. Hadoop Common
2. Hadoop Distributed Files System（HDFS）
【默认端口号：8020（1.0则是9000）】
【外部访问
转载
2023-07-18 17:45:10
61阅读
副本机制的利弊HDFS是一个高吞吐、高容错的分布式文件系统，但是 HDFS 在保证高容错的同时也带来了高昂的存储成本，比如有 5T的数据存储在 HDFS 上，按照 HDFS 的默认 3 副本机制，将会占用 15T 的存储空间。那么有没有一种能达到和副本机制相同的容错能力，但是能大幅度降低存储成本的机制呢？那就是在 HDFS 3.x 版本引入的纠删码机制。纠删码（Erasure Coding 简称
转载
2023-07-21 20:58:15
278阅读
引言Hadoop分布式文件系统(HDFS)被设计成适合运行在通用硬件(commodity hardware)上的分布式文件系统。它和现有的分布式文件系统有很多共同点。但同时，它和其他的分布式文件系统的区别也是很明显的。HDFS是一个高度容错性的系统，适合部署在廉价的机器上。HDFS能提供高吞吐量的数据访问，非常适合大规模数据集上的应用。HDFS放宽了一部分POSIX约束，来实现流式读
转载
2024-06-25 17:12:34
62阅读
# Hadoop EC 方案简介
Hadoop 是一个流行的开源框架，广泛用于大数据存储和处理。随着数据量的急剧增加，如何安全且高效地存储这些数据成为了一项重要的课题。Hadoop EC（Erasure Coding）方案作为一种高效的存储方式，能够在节省存储空间的同时，保持数据的高可用性，成为了很多公司的选择。
## 什么是 Hadoop EC？
Erasure Coding 是一种数据保
对于企业和数据中心的服务器而言，将数据中的错误降至最低是关键任务，这就是 ECC（纠错码）内存的目的。ECC 是一种检测并纠正单位内存错误的方法。单位内存错误是服务器输出或生产中的数据错误，错误的存在会对服务器性能产生很大影响。有两种类型的单位内存错误：硬错误和软错误。硬错误硬错误是由物理因素引起的，例如温度变化过大、电压应力或对内存位带来的物理应力。软错误当数据写入或读取与最初预期不同
转载
2024-06-13 17:44:54
121阅读
问题导读：1.... could only be replicated to 0 nodes, instead of 1 ...可能的原因是什么？2.Error: java.lang.NullPointerException错误的可能原因是什么？3.hadoop数据类型与Java数据类型不一致会产生什么错误？新手搞hadoop最头疼各种各样的问题了，我把自己遇到的问题以及解决办法大致整理一下先，希
转载
2023-07-12 15:09:47
83阅读
# Hadoop EC编码实验教程
## 概述
本实验主要介绍如何在Hadoop中实现EC（Erasure Coding）编码。EC编码是一种数据冗余备份技术，通过将原始数据分成多个块，并添加冗余数据，实现数据的高效存储和恢复。
## 实验流程
下面是实验的整体流程，通过表格展示每个步骤的具体内容。
| 步骤 | 描述 |
| --- | --- |
| 步骤1 | 准备Hadoop环境 |
原创
2023-08-24 04:34:36
170阅读
搭建hadoop源代码调试环境本文介绍以下在hadoop伪分布式环境下如何利用Eclipse调试hadoop源代码1、安装搭建hadoop伪分布式hadoop伪分布式，这一步可以参考上文。2、下载配置ant 可以到http://ant.apache.org/bindownload.cgi下载最新版本的ant，下载解压后，需要将ant的bin目录添加到PATH的环境变量上。 在ubuntu下可以
# 学习Hadoop的EC算法
在分布式计算和数据存储的领域，Hadoop是一个非常强大的工具，而EC（Erasure Coding）算法则是提升数据存储效率与可靠性的重要算法。对于刚入行的小白来说，学习用Hadoop实现EC算法的过程主要分为以下几个步骤：
## 流程概述
| 步骤 | 描述 |
|------|-------------------
原创
2024-08-13 07:04:27
100阅读
1大数据：指无法在一定时间范围内用常规软件工具进行捕捉，管理和处理的数据集合。2大数据主要解决，海量数据的存储和海量数据的分析计算问题。3数据存储单位：bit,Byte,KB,MB,GB,TB,PB,EB,ZB,YB4大数据的特点：1大量2高速（数据增长速度非常快）3多样化（数据结构的多样化）4低价值密度（数据量越多价值密度越低）5工作中大数据部门组织架构（数据挖掘其实就是算法工程师）：6Apac
转载
2024-10-03 15:00:29
34阅读
文章目录分布式存储hdfs一、Hadoop１、简介２、优点３、核心架构４、发行版本５、部署模式二、集群部署１、环境准备２、本地解析(所有节点)３、安装jdk环境(所有节点)４、免密登录(所有节点)互相做免密，自己和自己也要做免密５、下载hadoop(所有节点)６、添加环境变量(所有节点)７、namenode节点部署(node-1)８、依次拷贝９、初始化注意:10、浏览器访问三、Hadoop使用１
转载
2023-10-09 22:16:09
59阅读
ETL工具kettle使用资料整理
kettle工具安装kettle是开源的etl开发工具，软件包中包含了windows，linux，mac三个版本。下载地址:https://sourceforge.net/projects/pentaho/files/latest/download 解压下载的软件包拷贝Hadoop的配置文件到PDI的pdi-ce-7.0.0.0-25\da
HDEMOHadoop worldcount日志格式内容如下所示：101.200.88.27 - - [15/May/2018:19:31:05 +0800] "GET / HTTP/1.1" 200 4219 "-" "-"筛选提取IP，使用awk命令：awk '{print $1}' access.log > ips.txt上传至hdfs上：hadoop fs -mkdir /input
转载
2024-06-19 22:37:29
45阅读
一、概述在本篇博文中，试图通过代码了解hadoop job执行的整个流程。即用户提交的mapreduce的jar文件、输入提交到hadoop的集群，并在集群中运行。重点在代码的角度描述整个流程，有些细节描述的并不那么详细。汇总的代码流程图附件: hadoop_mapreduce_jobsubmit二、主要流程 Jobclient通过RPC方式调用到jobtracker的subm
转载
2024-03-07 09:52:00
24阅读
一个分布式系统基础架构，由Apache基金会开发。用户可以在不了解分布式底层细节的情况下，开发分布式程序。充分利用集群的威力高速运算和存储。 简单地说来，Hadoop是一个可以更容易开发和运行处理大规模数据的软件平台。 Hadoop实现了一个分布式文件系统（HadoopDistributedFileSystem），简称HDFS。HDFS有着高容错性（fault-tolerent）的特点，并且设
转载
2023-08-18 19:38:35
95阅读
一、nutch1.2
步骤和二大同小异，在步骤 5、配置构建路径 中需要多两个操作：在左部Package Explorer的 nutch1.2文件夹上单击右键 > Build Path > Configure Build Path... > 选中Source选项 > Default output folder:修改
Eclipse 安装 Hadoop 插件1、首先下载对应版本的hadoop插件 注意：Hadoop插件要跟自己安装的Hadoop版本相对应。这儿有一个Hadoop 2.X版本对应的Hadoop插件，前往下载， 下载hadoop2x-eclipse-plugin.zip。解压后，release文件夹下的hadoop.eclipse-kepler-plugin-2.2.0.jar即为我们所需
转载
2023-08-31 13:08:12
91阅读
Agile EC 数据存储结构
转载
精选
2011-09-10 11:35:22
225阅读
EC分布式存储是一种在分布式系统中存储数据的技术，其目的是将数据划分为多份，并存储在不同的节点上，以实现高可用性和可靠性。在Kubernetes（K8S）环境下，我们可以使用EC分布式存储来存储大规模的数据，并确保数据的安全性和可靠性。
整个实现“ec分布式存储”的过程可以分为以下步骤：
| 步骤 | 操作 |
| -------- | -------- |
| 1 | 搭建Kubernete
原创
2024-04-29 11:12:00
175阅读
# 从零开始学习分布式存储ec
## 简介
在Kubernetes（K8S）中实现分布式存储ec（erasure coding）是一种有效的方式，它可以提高数据冗余性和可靠性。本文将带你从零开始学习如何在K8S中实现分布式存储ec，让数据更安全可靠。
## 流程
下面是整个实现分布式存储ec的流程表格：
| 步骤 | 描述 |
| --- | --- |
| 步骤一 | 创建存储类（Stor
原创
2024-04-29 11:11:46
77阅读
