MapReduce输入处理类：Filelnput Format是所有以文件作为数据源的 Inputformat实现的基类， FileinputFormat保存作为job输入的所有文件，并实现了对输入文件计算 splits f的方法。至于获得记录的方法是由不同的子类 TextlnputFormat进行实现的。InputFormat负责处理 Mapreduce的输人部分、主要个作用验证作业的输人是否规
转载
2024-09-09 22:33:31
18阅读
# HBase与Spart的综合应用
## 介绍
HBase是一个分布式、可伸缩、面向列的NoSQL数据库。它是建立在Hadoop分布式文件系统（HDFS）之上的，并且提供了高吞吐量和低延迟的读写能力。HBase使用Hadoop的MapReduce来进行批处理，同时还提供了对实时查询和随机读写的支持。
Spart是一个基于HBase的分布式实时计算引擎。它能够在HBase上执行实时查询和分析
原创
2023-10-04 07:00:26
52阅读
摘大数据本身是个很宽泛的概念，Hadoop生态圈（或者泛生态圈）基本上都是为了处理超过单机尺度的数据处理而诞生的。你可以把它比作一个厨房所以需要的各种工具。锅碗瓢盆，各有各的用处，互相之间又有重合。你可以用汤锅直接当碗吃饭喝汤，你可以用小刀或者刨… 显示全部 大数据本身是个很宽泛的概念...
原创
2021-09-29 15:15:14
433阅读
大数据本身是个很宽泛的概念，Hadoop生态圈（或者泛生态圈）基本上都是为了处理超过单机尺度的数据处理而诞生的。你可以把它比作一个厨房所以需要的各种工具。锅碗瓢盆，各有各的用处，互相之间又有重合。你可以用汤锅直接当碗吃饭喝汤，你可以用小刀或者刨… 显示全部 大数据本身是个很宽泛的概念，Hadoop生态圈（或者泛生态圈）基本上都是为了处理超过单机尺度的数据处理而诞生的。你可
转载
2017-02-06 03:50:00
308阅读
2评论
环境一、k8s集群服务器-配置SSH免密码登录1.k8s集群几台服务器都安装sshssh-keygen -t rsa #一路回车 [root@k8smaster01 ~]# cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys2.将worker01、02的ssh复制到master节点[root@k8swork01 ~]# scp .ssh/id
# 连接HDFS的Java编程指南
分布式文件系统（HDFS）是Hadoop生态系统的核心组成部分，它用于存储海量数据。许多Java应用程序需要连接到HDFS以读取和写入数据。本文将介绍如何在Java中连接到HDFS，并提供相关代码示例。
## HDFS简介
Hadoop分布式文件系统（HDFS）是一个高度可扩展的文件存储系统，允许跨计算机集群存储大量数据。其特点包括高容错性、高吞吐率和适应
原创
2024-09-02 06:19:09
55阅读
FS Shell调用文件系统(FS)Shell命令应使用 bin/hadoop fs 的形式。 所有的的FS shell命令使用URI路径作为参数。URI格式是scheme://authority/path。对HDFS文件系统，scheme是hdfs，对本地文件系统，scheme是file。其中scheme和authority参数都是可选的，如果未加指定，就会使用配置中指定的默认sche
转载
2023-07-19 13:23:36
130阅读
1、导入依赖<dependency>
<groupId>org.apache.hadoop</groupId>
<artifactId>hadoop-client</artifactId>
<version>3.2.2</version>
</dependenc
转载
2023-07-04 15:42:06
45阅读
文件流下载、下载链接下载方式本篇文章主要讲解两种下载方式区别1、第一种方式文件流下载this.axios.get(url).then((res) => {
// console.log(res);
if (res.status == 200) {
const blob = res.data; //res.data就是后端返回的文件流
转载
2023-09-27 14:17:05
106阅读
一、SSH远程终端连接工具 1、SSH简介 SSH是一种网络协议，用于计算机之间的加密登录。最早的时候，互联网通信都是明 文通信，一旦被截获，内容就暴露无疑。1995年，芬兰学者Tatu Ylonen设计了SSH 协议，将登录信息全部加密，成为互联网安全的一个基本解决方案，迅速在全世界获 得推广，目前已经成为Linux系统的标准配置。2、SSH登录原理 也就是客户端先向服务端发送
# 如何spark链接kerboers hdfs
## 一、流程图
```mermaid
erDiagram
开发者 --> 小白 : 教学
小白 --> spark : 开发
小白 --> kerberos : 认证
spark --> hdfs : 读写数据
```
## 二、步骤表格
| 步骤 | 操作 |
| ---- | ---- |
| 1 |
原创
2024-03-30 05:03:31
71阅读
1. 创建ubinode_demo工程目录，在该目录下创建include、src、lib、dynamiclib、output、obj子目录，将xmlrpc头文件、静态库和动态库分别拷贝到include、lib、dynamiclib目录下。2. 编写Makefile文件3. 在src目录下创建并编辑源代码，并在include目录下编写相应头文件。4. 执行ma
转载
2024-03-29 10:56:32
31阅读
文章目录一、 盘搜二、 飞鱼盘搜三、 云铺子四、 小白盘五、 搜索盘六、 56网盘搜索七、 VeryPan八、 搜百度盘九、 51搜盘十、 大力盘搜索 与大家分享几个好用的网盘搜索神器，方便大家搜索百度云网盘分享的资源文件。（已测试，目前都可用）一、 盘搜http://www.pansou.com/ 网站简洁，搜索即可出来结果，点击搜索结果就能跳转。二、 飞鱼盘搜https://panso.fe
转载
2024-03-27 22:32:15
33阅读
HDFS客户端的权限错误：Permission denied 搭建了一个Hadoop的环境，Hadoop集群环境部署在几个Linux服务器上，现在想使用windows上的Java客户端来操作集群中的HDFS文件，但是在客户端运行时出现了如下的认证错误，被折磨了几天，问题终得以解决。以此文记录问题的解决过程。如果想看最终解决问题的方法拉到最后，如果想看我的问题解决思路请从上向下看）问题描述上传文
转载
2024-06-13 22:57:01
45阅读
HDFS： hadoop Distributed File System（分布式的文件系统） 在硬件设备的基础上，添加一些软件，可以对数据进行存储和管理的叫做文件系统，HDFS的硬件设备是分布在各个节点之上。怎么区别hdfs与linux/window系统上的文件系统？ 在linux/window中的最原始的目录前面会有 file：//的形式，如： file：///c：// file：///etc
转载
2024-04-23 08:41:07
60阅读
1.前言hdfs , Hadoop Distributed File System。Hadoop的分布式文件系统,安全行和扩展性没得说。访问HDFS的方式有以下几种：命令行方式：FS Shell编程方式：FileSystem Java API，libhdfs(c语言)REST API : WebHDFS, HttpFs把HDFS mount成本地文件目录 使用python访问HDFS比较
转载
2023-06-16 09:01:03
127阅读
hdfs getconf -confKey fs.default.name ...
转载
2021-10-12 16:17:00
716阅读
2评论
hadoop学习中遇到的问题：hadoop拒绝连接 hadoop安装好之后，在本地浏览器输入地址http://192.168.29.134:9870，提示拒绝连接。在网上找了很多相关资料，有很多原因导致，一个是防火墙没关闭，一个是namenode没有启动起来，一个是因为namenode启动后journalnode还没有启动，还有就是namenode和datanode的clusterID不一致、没
转载
2023-07-14 15:24:56
1701阅读
一、客户端写入数据 1、客户端向NameNode发送上传文件的请求。2、NameNode检查目录（这个文件是否已经存在），若已存在，返回错误，不存在，则继续。3、NameNode给客户端发送可以上传的信息。4、客户端再次向NameNode发送上传请求。5、NameNode检查节点DataNode信息。6、NameNode根据上传文件大小调度DataNode节点，调
转载
2023-12-09 12:09:10
92阅读
如果既想在Hadoop服务器本地可以通过绝对路径如"/user/hadoop"方式访问hdfs，也想通过"hdfs://local host:9000/user/hadoop的方式访问hdfs，此时做需要配置core-site.xml： 上面的配置只能让你使用"hadoop fs -ls /user
转载
2018-04-23 18:20:00
610阅读
2评论
