参考了网上很多人的帖子，结合自己实践，一步步记录所称的帖子，希望对大家有帮助！
hadoop 集群安装记录
3台机器的hostname和ip分别如下
andy1 192.168.224.144 master namenode
andy2 192.168.224.145 slave datenode
andy3 192.1
转载
2023-12-27 10:13:59
86阅读
hadoop2.2.0 的8节点 配置测试环境：硬件dell服务器esxi5.1版虚拟化 这里虚拟化环境应该无所谓，vm的测试环境部署起来简单。 后续会放出openstack环境下的部署。
centos6.5 32位迷你版
hadoop2.2.0官方下载
本轮测试只偏重测试hdfs，没有对分布式计算进行测试。
1、 下载 
Hadoop在大数据技术体系中的地位至关重要，Hadoop是大数据技术的基础，对Hadoop基础知识的掌握的扎实程度，会决定在大数据技术道路上走多远。这是一篇入门文章，Hadoop的学习方法很多，网上也有很多学习路线图。本文的思路是：以安装部署Apache Hadoop2.x版本为主线，来介绍Hadoop2.x的架构组成、各模块协同工作原理、技术细节。安装不是目的，通过安装认识Hadoop才是目的
转载
2024-07-19 10:20:35
48阅读
# Hadoop Zstd: 一种高效的数据压缩算法
## 引言
在当今大数据时代，数据的存储和传输变得越来越重要。数据压缩作为一种节省存储和网络带宽的手段，对于处理海量数据具有重要意义。Hadoop作为一种分布式计算框架，能够处理大规模数据集，而Zstd是一种高效的数据压缩算法。本文将介绍Hadoop Zstd，探讨Zstd的优势以及在Hadoop中的应用。
## Zstd简介
Zsta
原创
2023-12-20 13:16:33
185阅读
# 实现Hadoop Zstd Splitable教程
## 引言
作为一名经验丰富的开发者，我将教你如何实现"Hadoop Zstd Splitable"。这对于刚入行的小白来说可能有些困难，但只要按照我的步骤一步步操作，你会很快掌握这个技能。
### 整体流程：
```mermaid
journey
title 教你实现Hadoop Zstd Splitable
secti
原创
2024-02-23 05:37:56
61阅读
# Hadoop中使用Zstd进行数据压缩和分片
在大数据处理中，数据的压缩和分片是非常重要的工作。Hadoop作为一个分布式计算框架，经常需要处理大量的数据，因此对数据的压缩和分片技术也有着很高的要求。本文将介绍如何在Hadoop中使用Zstd算法进行数据的压缩和分片。
## 什么是Zstd算法
Zstd是一种快速的压缩算法，由Facebook开发，并且在Hadoop中得到了广泛的应用。它
原创
2024-03-01 07:40:52
614阅读
一 Hadoop数据压缩1.1 概述压缩技术能够有效减少底层存储系统（HDFS）读写字节数。压缩提高了网络带宽和磁盘空间的效率。在Hadood下，尤其是数据规模很大和工作负载密集的情况下，使用数据压缩显得非常重要。在这种情况下，I/O操作和网络数据传输要花大量的时间。还有，Shuffle与Merge过程同样也面临着巨大的I/O压力。鉴于磁盘I/O和网络带宽是Hadoop的宝贵资源，数据压
集群环境： 操作系统：CentOS 6.4 软件版本：jdk-7u21-linux-x64.bin , hadoop-2.6 .tar.gz（由于需要支持hbase1.0.0，java版本需要修改为1.7以上的版本） 集群架构：包括4个节点：1个master，3个salve，节点之间局域网连接，可以相互ping通。节点IP地址 分布如下：
主机名 IP系统版本Hado
文章目录文件与文件系统的压缩Linux系统常见的压缩命令gzip，zcat/zmore/zless/zgrepbzip2，bzcat/bzmore/bzless/bzgrepxz，xzcat/xzmore/xzless/xzgrep打包命令tarXFS系统的备份和还原XFS文件备份之xfsdumpxfsdump使用的限制xfsdump命令语法XFS文件系统还原之xfsrestorexfsrest
转载
2024-10-11 22:14:50
81阅读
我们这个教程是在 centos 上安装cdh的教程，并且使用的是yum方式。不建议使用界面化方式。由于用过linux的都知道，命令行出错更少。事实上更轻松更靠谱。安装之前1. 安装jdk cdh5 相应的jdk 是 oracle-jdk 1.7.0_25 ，注意是 oracle-jdk ，千万别 yum install jdk 就完事了。由于那样装的是 openjdk 到这边 h
转载
2024-08-02 12:03:14
96阅读
一、HDFS简介 HDFS为了做到可靠性（reliability）创建了多分数据块（data blocks）的复制（replicas），并将它们放置在服务器群的计算节点中（computer nodes），MapReduce就可以在它们所在的节点上处理这些数据了。 1.1 HDFS数据存储单元（block）文件被切分成固定大小的数据块
默认数据块大小为64M（Hadoop 2.x默认为128
转载
2023-07-16 22:51:23
327阅读
主要是dremio parquet zstd 压缩支持尝试，说明下思路，大家可以参考 修改 ExecConstants 配置 sabot/kernel/src/main/java/com/dremio/exec/ExecConstants.java EnumeratedStringValidator
原创
2022-11-03 23:12:57
264阅读
为了方便测试测试，我构建了一个docker 镜像 镜像 Dockerfile FROM dremio/dremio-oss:23.0.1 USER root COPY dremio.conf /opt/dremio/conf/dremio.conf COPY --from=hengyunabc/ar
原创
2022-11-03 23:09:31
313阅读
以前我简单介绍过关于dremio 如何自己编译支持zstd 压缩，目前官方24.1 直接支持了，通过\
原创
2023-06-25 07:04:26
81阅读
一、zstd压缩与解压 ZSTD_compress属于ZSTD的Simple API范畴，只有压缩级别可以设置。 ZSTD_compress函数原型如下： size_t ZSTD_compress(void* dst, size_t dstCapacity, const void* src, size_t srcSize, int compressionLevel) ZSTD_d
# 如何在Java中实现Zstandard（Zstd）压缩
Zstandard（Zstd）是一种快速压缩算法，非常适合用于数据压缩。在Java中使用Zstd进行压缩和解压缩相对简单，下面将为你介绍具体的实现步骤。
## 实现流程
下面是实现Zstd压缩的步骤：
| 步骤 | 描述 |
| ------ | --------------------
原创
2024-09-16 06:17:04
95阅读
1.HDFS前言设计思想分而治之：将大文件、大批量文件，分布式存放在大量服务器上，以便于采取分而治之的方式对海量数据进行运算分析；在大数据系统中作用：为各类分布式运算框架（如：mapreduce，spark，tez，……）提供数据存储服务重点概念：文件切块，副本存放，元数据 2.HDFS的概念和特性Hadoop Distributed File System首先，它是一个文件系统，用于存
转载
2023-10-09 00:17:58
270阅读
Hadoop：Hadoop是一个由Apache基金会所开发的分布式系统基础架构。用来开发分布式程序。充分利用集群的威力进行高速运算和存储。Hadoop实现了一个分布式文件系统（Hadoop Distributed File System），简称HDFS。 Hadoop框架最核心的设计就是：HDFS和MapReduce。HDFS为海量的数据提供了存储，MapReduce则为海
转载
2023-07-25 00:13:39
96阅读
# Java zstd 压缩：高效数据压缩技术解析
在现代软件开发中，数据压缩技术对于提高数据传输效率和节省存储空间具有重要意义。Zstandard（简称zstd）是一种高效的压缩算法，它提供了高压缩比和快速压缩速度。本文将介绍如何在Java中使用zstd进行数据压缩，并提供代码示例和相关图表。
## zstd简介
Zstandard是由Facebook开发的一种无损数据压缩算法，它旨在提供
原创
2024-07-23 08:47:24
102阅读
背景2017.12.13日Apache Hadoop 3.0.0正式版本发布，默认支持阿里云OSS对象存储系统，作为Hadoop兼容的文件系统，后续版本号大于等于Hadoop 2.9.x系列也支持OSS。然而，低版本的Apache Hadoop官方不再支持OSS，本文将描述如何通过支持包来使Hadoop 2.7.2能够读写OSS。如何使用下面的步骤需要在所有的Hadoop节点执行下载支持包http
转载
2023-09-13 23:48:07
73阅读
