一瓢一瓢的饮的博客_大数据存储

16、Flink 的table api与sql之连接外部系统: 读写外部系统的连接器和格式以及Apache Kafka示例（3）

Flink 系列文章 1、Flink 部署、概念介绍、source、transformation、sink使用示例、四大基石介绍和示例等系列综合文章链接 13、Flink 的table api与sql的基本概念、通用api介绍及入门示例 14、Flink 的table api与sql之数据类型: 内置数据类型以及它们的属性 15、Flink 的table api与sql之流式概念-详解的介绍了动态

kafka

sql

flink sql kafka

flink 流批一体化

flink kafka

原创 2023-08-23 07:55:38 621 阅读 1点赞 1收藏 yyds干货盘点

23、hadoop集群中yarn运行mapreduce的内存、CPU分配调度计算与优化

Hadoop系列文章目录1、hadoop3.1.4简单介绍及部署、简单验证2、HDFS操作 - shell客户端3、HDFS的使用（读写、上传、下载、遍历、查找文件、整个目录拷贝、只拷贝文件、列出文件夹下文件、删除文件及目录、获取文件及文件夹属性等）-java4、HDFS-java操作类HDFSUtil及junit测试（HDFS的常见操作以及HA环境的配置）5、HDFS API的RESTful风格

hadoop 优化

hadoop yarn 优化

hadoop mapreduce优化

hadoop 内存优化

hadoop cpu优化

原创 2023-05-15 15:46:56 522 阅读 1点赞 1收藏

22、MapReduce使用Gzip压缩、Snappy压缩和Lzo压缩算法写文件和读取相应的文件

Hadoop系列文章目录1、hadoop3.1.4简单介绍及部署、简单验证2、HDFS操作 - shell客户端3、HDFS的使用（读写、上传、下载、遍历、查找文件、整个目录拷贝、只拷贝文件、列出文件夹下文件、删除文件及目录、获取文件及文件夹属性等）-java4、HDFS-java操作类HDFSUtil及junit测试（HDFS的常见操作以及HA环境的配置）5、HDFS API的RESTful风格

hadoop

mapreduce

Gzip压缩

Snappy压缩

Lzo压缩

原创精选 2023-05-15 15:44:25 551 阅读 1点赞 1收藏

21、MapReduce读写SequenceFile、MapFile、ORCFile和ParquetFile文件

Hadoop系列文章目录1、hadoop3.1.4简单介绍及部署、简单验证2、HDFS操作 - shell客户端3、HDFS的使用（读写、上传、下载、遍历、查找文件、整个目录拷贝、只拷贝文件、列出文件夹下文件、删除文件及目录、获取文件及文件夹属性等）-java4、HDFS-java操作类HDFSUtil及junit测试（HDFS的常见操作以及HA环境的配置）5、HDFS API的RESTful风格

hadoop

mapreduce

sequence file

ORCFile

parquetFile

原创精选 2023-05-15 15:42:50 354 阅读 1点赞 1收藏

20、MapReduce 工作流介绍

Hadoop系列文章目录1、hadoop3.1.4简单介绍及部署、简单验证2、HDFS操作 - shell客户端3、HDFS的使用（读写、上传、下载、遍历、查找文件、整个目录拷贝、只拷贝文件、列出文件夹下文件、删除文件及目录、获取文件及文件夹属性等）-java4、HDFS-java操作类HDFSUtil及junit测试（HDFS的常见操作以及HA环境的配置）5、HDFS API的RESTful风格

hadoop

mapreduce

yarn

workflow

原创 2023-05-15 15:41:07 227 阅读 1点赞 1收藏

19、Join操作map side join 和 reduce side join

Hadoop系列文章目录1、hadoop3.1.4简单介绍及部署、简单验证2、HDFS操作 - shell客户端3、HDFS的使用（读写、上传、下载、遍历、查找文件、整个目录拷贝、只拷贝文件、列出文件夹下文件、删除文件及目录、获取文件及文件夹属性等）-java4、HDFS-java操作类HDFSUtil及junit测试（HDFS的常见操作以及HA环境的配置）5、HDFS API的RESTful风格

hadoop

mapreduce

map side join

reduce side join

yarn

原创精选 2023-05-15 15:39:54 403 阅读 1点赞 1收藏

18、MapReduce的计数器与通过MapReduce读取/写入数据库示例

Hadoop系列文章目录1、hadoop3.1.4简单介绍及部署、简单验证2、HDFS操作 - shell客户端3、HDFS的使用（读写、上传、下载、遍历、查找文件、整个目录拷贝、只拷贝文件、列出文件夹下文件、删除文件及目录、获取文件及文件夹属性等）-java4、HDFS-java操作类HDFSUtil及junit测试（HDFS的常见操作以及HA环境的配置）5、HDFS API的RESTful风格

hadoop

HDFS

mapreduce

hadoop 计数器

hadoop mysql

原创精选 2023-05-15 15:38:39 443 阅读 1点赞 1收藏

17、MapReduce的分区Partition介绍

Hadoop系列文章目录1、hadoop3.1.4简单介绍及部署、简单验证2、HDFS操作 - shell客户端3、HDFS的使用（读写、上传、下载、遍历、查找文件、整个目录拷贝、只拷贝文件、列出文件夹下文件、删除文件及目录、获取文件及文件夹属性等）-java4、HDFS-java操作类HDFSUtil及junit测试（HDFS的常见操作以及HA环境的配置）5、HDFS API的RESTful风格

HDFS

数据

hadoop

数据分区

hadoop partition

原创 2023-05-15 15:37:23 156 阅读 1点赞 1收藏

16、MapReduce的基本用法示例-自定义序列化、排序、分区、分组和topN

Hadoop系列文章目录1、hadoop3.1.4简单介绍及部署、简单验证2、HDFS操作 - shell客户端3、HDFS的使用（读写、上传、下载、遍历、查找文件、整个目录拷贝、只拷贝文件、列出文件夹下文件、删除文件及目录、获取文件及文件夹属性等）-java4、HDFS-java操作类HDFSUtil及junit测试（HDFS的常见操作以及HA环境的配置）5、HDFS API的RESTful风格

hadoop

apache

Mapreduce

yarn

大数据计算

原创精选 2023-05-15 15:36:27 387 阅读 1点赞 1收藏

15、MapReduce介绍及wordcount

Hadoop系列文章目录1、hadoop3.1.4简单介绍及部署、简单验证2、HDFS操作 - shell客户端3、HDFS的使用（读写、上传、下载、遍历、查找文件、整个目录拷贝、只拷贝文件、列出文件夹下文件、删除文件及目录、获取文件及文件夹属性等）-java4、HDFS-java操作类HDFSUtil及junit测试（HDFS的常见操作以及HA环境的配置）5、HDFS API的RESTful风格

hadoop

mapreduce

yarn

wordcount

hadoop wordcount

原创 2023-05-15 15:35:15 235 阅读 1点赞 1收藏

14、HDFS 透明加密KMS

Hadoop系列文章目录1、hadoop3.1.4简单介绍及部署、简单验证2、HDFS操作 - shell客户端3、HDFS的使用（读写、上传、下载、遍历、查找文件、整个目录拷贝、只拷贝文件、列出文件夹下文件、删除文件及目录、获取文件及文件夹属性等）-java4、HDFS-java操作类HDFSUtil及junit测试（HDFS的常见操作以及HA环境的配置）5、HDFS API的RESTful风格

hadoop

xml

HDFS

hadoop kms

hadoop 透明加密

原创 2023-05-15 15:33:58 371 阅读 1点赞 1收藏

13、HDFS Snapshot快照

Hadoop系列文章目录1、hadoop3.1.4简单介绍及部署、简单验证2、HDFS操作 - shell客户端3、HDFS的使用（读写、上传、下载、遍历、查找文件、整个目录拷贝、只拷贝文件、列出文件夹下文件、删除文件及目录、获取文件及文件夹属性等）-java4、HDFS-java操作类HDFSUtil及junit测试（HDFS的常见操作以及HA环境的配置）5、HDFS API的RESTful风格

hadoop

hdfs

HDFS

hadoop 快照

hadoop snapshot

原创 2023-05-15 15:32:46 378 阅读 1点赞 1收藏

12、HDFS Trash垃圾桶回收介绍与示例

Hadoop系列文章目录1、hadoop3.1.4简单介绍及部署、简单验证2、HDFS操作 - shell客户端3、HDFS的使用（读写、上传、下载、遍历、查找文件、整个目录拷贝、只拷贝文件、列出文件夹下文件、删除文件及目录、获取文件及文件夹属性等）-java4、HDFS-java操作类HDFSUtil及junit测试（HDFS的常见操作以及HA环境的配置）5、HDFS API的RESTful风格

hadoop

HDFS

检查点

hadoop 垃圾桶

hadoop trash

原创 2023-05-15 15:30:45 231 阅读 1点赞 1收藏

11、hadoop环境下的Sequence File的读写与合并

Hadoop系列文章目录1、hadoop3.1.4简单介绍及部署、简单验证2、HDFS操作 - shell客户端3、HDFS的使用（读写、上传、下载、遍历、查找文件、整个目录拷贝、只拷贝文件、列出文件夹下文件、删除文件及目录、获取文件及文件夹属性等）-java4、HDFS-java操作类HDFSUtil及junit测试（HDFS的常见操作以及HA环境的配置）5、HDFS API的RESTful风格

hadoop

apache

HDFS

sequence file

原创 2023-05-15 15:29:35 279 阅读 1点赞 1收藏

10、HDFS小文件解决方案--Archive

Hadoop系列文章目录1、hadoop3.1.4简单介绍及部署、简单验证2、HDFS操作 - shell客户端3、HDFS的使用（读写、上传、下载、遍历、查找文件、整个目录拷贝、只拷贝文件、列出文件夹下文件、删除文件及目录、获取文件及文件夹属性等）-java4、HDFS-java操作类HDFSUtil及junit测试（HDFS的常见操作以及HA环境的配置）5、HDFS API的RESTful风格

hive

hadoop

HDFS

hdfs小文件解决方案

hadoop archive

原创 2023-05-15 15:23:42 583 阅读 1点赞 1收藏

9、hadoop高可用HA集群部署及三种方式验证

Hadoop系列文章目录1、hadoop3.1.4简单介绍及部署、简单验证2、HDFS操作 - shell客户端3、HDFS的使用（读写、上传、下载、遍历、查找文件、整个目录拷贝、只拷贝文件、列出文件夹下文件、删除文件及目录、获取文件及文件夹属性等）-java4、HDFS-java操作类HDFSUtil及junit测试（HDFS的常见操作以及HA环境的配置）5、HDFS API的RESTful风格

hadoop

HDFS

hdfs

hadoop ha

大数据部署

原创 2023-05-15 15:22:16 486 阅读 1点赞 1收藏

8、HDFS内存存储策略支持和“冷热温”存储

Hadoop系列文章目录1、hadoop3.1.4简单介绍及部署、简单验证2、HDFS操作 - shell客户端3、HDFS的使用（读写、上传、下载、遍历、查找文件、整个目录拷贝、只拷贝文件、列出文件夹下文件、删除文件及目录、获取文件及文件夹属性等）-java4、HDFS-java操作类HDFSUtil及junit测试（HDFS的常见操作以及HA环境的配置）5、HDFS API的RESTful风格

hdfs

HDFS

大数据存储策略

数据“冷热温”

原创 2023-05-15 15:19:51 568 阅读 1点赞 1收藏

7、大数据中常见的文件存储格式以及hadoop中支持的压缩算法

本文主要介绍大数据环境中常见的文件存储格式、压缩算法。本文分为2个部分，即文件存储格式和压缩算法。一、文件存储格式1、列式与行式1）、行式存储（Row-Based）同一行数据存储在一起。存储时，只需要往文件后面添加即可。查询时，需要找到每行对应列所在的位置并检索出来2）、列式存储（Column-Based）同一列数据存储在一起。存储时，需要将每列的数据放在对应的位置，并需要挪动其他列的数据所在

数据

压缩算法

序列化

hadoop

orc file

原创 2023-05-15 15:15:49 202 阅读 1点赞 1收藏

6、HDFS的HttpFS-代理服务

本文介绍HttpFS的使用。可以与前一篇文章一起阅读。HDFS API的RESTful风格--WebHDFS 本文分为四部分，即介绍、配置、验证与和WebHDFS的比较。本文阅读前提是已经部署好hadoop环境，具体部署参考hadoop3.1.4简单介绍及部署、简单验证一、HttpFS介绍1、HttpFS概述HttpFS 是一个提供RESTful 接口的网关的服务器，该网关支持所有HDFS文

hadoop

hdfs

HDFS

httpfs

原创 2023-05-15 15:14:59 282 阅读 1点赞 1收藏

5、HDFS API的RESTful风格--WebHDFS

本文简单介绍WebHDFS和使用。一、介绍1、WebHDFS概述WebHDFS 提供了访问HDFS的RESTful接口，内置组件，默认开启。WebHDFS 使得集群外的客户端可以不用安装HADOOP和JAVA环境就可以对HDFS进行访问，且客户端不受语言限制。当客户端请求某文件时，WebHDFS会将其重定向到该资源所在的datanode。2、格式FileSystem URIs vs HTTP U

hdfs

HTTP

HDFS

restful

hadoop

原创 2023-05-15 15:14:08 670 阅读 1点赞 1收藏

4、HDFS-java操作类HDFSUtil及junit测试（HDFS的常见操作以及HA环境的配置）

本文编写了java对HDFS的常见操作，并且均测试通过。其功能包含构造conf、设置系统环境变量、创建目录、判断文件是否存在、获取文件/目录的大小等，具体见下图。本文分为四部分，即pom.xml、junit测试类、操作类、高可用环境操作类。pom.xml描述本代码运行需要哪些maven依赖junit测试类是对操作类的单元测试操作类就是对hdfs api的使用高可用环境操作类就是操作类在高可用环境

hdfs

Test

hadoop

testng

hadoop ha

原创 2023-05-15 15:13:13 344 阅读 1点赞 1收藏

3、HDFS的使用（读写、上传、下载、遍历、查找文件、整个目录拷贝、只拷贝文件、列出文件夹下文件、删除文件及目录、获取文件及文件夹属性等）-java

本示例介绍java通过api操作hdfs。主要包含HDFS的读写、上传、下载、遍历、查找文件、整个目录拷贝、只拷贝文件、列出文件夹下文件、删除文件及目录、获取文件及文件夹属性等。本文分为2个部分，即环境准备和示例。一、配置Windows下Hadoop环境在windows上做HDFS客户端应用开发，需要设置Hadoop环境,而且要求是windows平台编译的Hadoop,不然会报以下的错误:#

hadoop

hdfs

Test

testng

windows hadoop

原创 2023-05-15 15:12:09 901 阅读 1点赞 1收藏

2、HDFS操作 - shell客户端

本文介绍hdfs的shell操作，本文的前提是hdfs的功能正常运行。本文分为2个部分介绍，即语法格式与具体示例。 @TOC一、语法格式HDFS是存取数据的分布式文件系统，那么对HDFS的操作，就是文件系统的基本操作，比如文件的创建、修改、删除、修改权限等，文件夹的创建、删除、重命名等。对HDFS的操作命令类似于Linux的shell对文件的操作，如ls、mkdir、rm等。HDFS Shell

hdfs

hadoop

HDFS

shell

原创 2023-05-15 15:10:09 236 阅读 1点赞 1收藏

1、hadoop3.1.4简单介绍及部署、简单验证

本文介绍hadoop的发展过程、3.1.4的特性、部署及简单验证。本文前提依赖：免密登录设置、jdk已经安装、zookeeper部署完成且正常运行。具体参见相关文章，具体在zookeeper专栏、环境配置。本文分为三个部分介绍，即hadoop发展史、hadoop3.1.4部署及验证。 @TOC一、hadoop发展史1、Hadoop介绍Hadoop是Apache旗下的一个用java语言实现开源软

Hadoop

hadoop

xml

cdh

centos 7

原创 2023-05-15 15:09:21 877 阅读 1点赞 1收藏

官方博客	全部文章	热门标签	班级博客
了解我们	网站地图	意见反馈

鸿蒙开发者社区	51CTO学堂
51CTO	软考资讯

51CTO博客

alanchan的博客

16、Flink 的table api与sql之连接外部系统: 读写外部系统的连接器和格式以及Apache Kafka示例（3）

23、hadoop集群中yarn运行mapreduce的内存、CPU分配调度计算与优化

22、MapReduce使用Gzip压缩、Snappy压缩和Lzo压缩算法写文件和读取相应的文件

21、MapReduce读写SequenceFile、MapFile、ORCFile和ParquetFile文件

20、MapReduce 工作流介绍

19、Join操作map side join 和 reduce side join

18、MapReduce的计数器与通过MapReduce读取/写入数据库示例

17、MapReduce的分区Partition介绍

16、MapReduce的基本用法示例-自定义序列化、排序、分区、分组和topN

15、MapReduce介绍及wordcount

14、HDFS 透明加密KMS

13、HDFS Snapshot快照

12、HDFS Trash垃圾桶回收介绍与示例

11、hadoop环境下的Sequence File的读写与合并

10、HDFS小文件解决方案--Archive

9、hadoop高可用HA集群部署及三种方式验证

8、HDFS内存存储策略支持和“冷热温”存储

7、大数据中常见的文件存储格式以及hadoop中支持的压缩算法

6、HDFS的HttpFS-代理服务

5、HDFS API的RESTful风格--WebHDFS

4、HDFS-java操作类HDFSUtil及junit测试（HDFS的常见操作以及HA环境的配置）

3、HDFS的使用（读写、上传、下载、遍历、查找文件、整个目录拷贝、只拷贝文件、列出文件夹下文件、删除文件及目录、获取文件及文件夹属性等）-java

2、HDFS操作 - shell客户端

1、hadoop3.1.4简单介绍及部署、简单验证