Java与hadoop交互1、Configuration cfg=new Configuration(); 2、cfg.set(“fs.defaultFS”,“hdfs://ip地址:9000”); 3、获取文件系统：FileSystem fs=FileSystem.get(cfg); 1~3合起来的写法，与HDFS文件系统建立连接： FileSystem fs=FileSystem(new UR
转载
2024-04-22 10:22:02
78阅读
最近在学习数据分析，用到了hadoop和spark。之前在虚拟机配置好了hadoop集群，今天想尝试一下在win10环境下，利用 IDEA 远程向虚拟机上的hadoop集群提交作业（以WordCount为例）一： 环境以及准备工作：win10 + IntelliJ IDEA 2017.1.6 + hadoop 2.8.0 注意：hadoop在虚拟机和本地都要安装，安装步骤二者几乎一样，就不写了，不
转载
2024-04-02 09:43:51
160阅读
在window上配置好Hadoop1.下载hadoop-2.7.7.tar.gz文件到window。各版本Hadoop，我选择的是2.7.7Hadoop是跨平台的，不用担心Linux与windows不兼容，但是需要注意的是在hadoop-2.7.7/etc/hadoop/hadoop-env.sh中JAVA_HOME需要修改为window下jdk的路径。2. 选择一个空目录将hadoop-2.7.
转载
2024-09-13 13:23:39
206阅读
创建客户端java项目，实现以下功能： ① 通过api 连接 hdfs; 熟悉不同的连接方式以及优先级 ② 实现文件上传； ③ 实现文件下载； ④ 了解其他文件管理的方法。 ⑤ 在编程的过程中，简单了解客户端项目的创建：maven 项目；本地jar包项目a. 创建maven项目， File —> Project ----> maven (2020 版本默认已安装maven组件)b. 修
转载
2023-10-10 07:00:37
699阅读
idea远程连接hbase下载idea 官网下载，官网下载链接：https://www.jetbrains.com/zh-cn/idea/download/other.html 不建议下载最新版本，安装idea的相关教程可在网上查找 切记：运行idea时需先启动 zookeeper hadoop hbase1.更改windows的配置文件hosts 注意自己是集群还是单机 位置：C:\Window
转载
2024-04-01 11:30:33
63阅读
之前提交运行spark程序，都是通过spark-submit提交运行的。 但是能不能再IDEA中就执行submit运行程序呢， 以前用过一种方式，就是通过远程ssh访问(远程ssh可以通过JSch实现)，通过liunx命令去执行，但是这个显然不是我期望的。我的spark程序都是提交给yarn运行的，如果程序直接与yarn通信，按spark-submit源码中的提交方式去做，是不是也能实现呢。修改写
转载
2023-07-12 23:46:46
131阅读
在IDEA中使用JavaAPI对Hadoop进行操作简介一、 Java API相关的简单介绍功能描述文件操作：1. 上传文件2. 新建文件3. 下载文件4. 删除文件5. 新建文件并写入数据二、 操作步骤第一步：Windows环境下Hadoop环境变量配置第二步：Windows和Linux中的JDK版本要一致第三步、创建一个Maven项目1.找到maven安装目录conf文件夹下的setting
转载
2023-11-20 11:19:49
167阅读
前言 在自己的win电脑想连机房的hadoop开发，发现idea已经有个官方的插件可以连hadoop和hdfs之类的了，打算试试，但输入端口和用户名后连接失败报如下错误❗HADOOP_HOME is not defined： 网上找了一波解决方法后看到了这样一篇博客，于是顺便把整个解决的过程记录下来 ...
转载
2021-09-18 11:21:00
1074阅读
2评论
目录引言：环境：前提：实现:测试结语：问题引言： 分布式课程要求使用IDE（IDEA、Eclipse）来编写程序直接对Hadoop集群进行文件操作，目前关于IDEA连接Hadoop集群的教程，良莠不齐，根据多个教程完成了IDEA连接Hadoop集群。现在将完整的流程陈列如下。如果觉得文章组织形式不好，或者有看不懂的地方请给我留言。环境：&nbs
转载
2024-07-30 15:31:05
112阅读
记录一下Java API 连接hadoop操作hdfs的实现流程（使用连接池管理）。以前做过这方面的开发，本来以为不会有什么问题，但是做的还是坑坑巴巴，内心有些懊恼，记录下这烦人的过程，警示自己切莫眼高手低！一：引入相关jar包如下 <dependency>
<groupId>org.apache.hadoop</groupId>
目录一、idea远程debug原理二、创建一个springboot工程三、IDEA远程调试配置 四、服务端开始debug模式 五、idea启动远程调用六、启动远程调试参数解释 一、idea远程debug原理远程调试，需要调试服务器上的程序时，远程调试就显得非常有用。JAVA 支持调试功能，本身提供了一个简单的调试工具JDB，支持设置断点及线程级的调试同时，不同的JVM
转载
2023-09-01 16:01:09
102阅读
代码：1.Hdfspackage com.boot.base.common.util.hdfs;
import com.boot.base.common.util.LogUtil;
import com.google.common.collect.Lists;
import org.apache.hadoop.conf.Configuration;
import org.apache.hadoo
转载
2023-10-03 20:34:16
57阅读
一、什么是HDFSHDFS:是一个文件系统，用于存储文件，通过目录树来定位文件；其次，它是分布式的，由很多服务器联合起来实现其功能，集群中的服务器有各自的角色。HDFS的设计适合一次写入，多次读出的场景，且不支持文件的修改。适合用来做数据分析，并不适合用来做网盘应用。文件系统概念： 文件系统是操作系统用于明确磁盘或分区上的文件的方法和数据结构；即在磁盘上组织文件的法。也指用于存储文件的磁盘或分区，
转载
2024-06-19 09:37:10
139阅读
hdfs：分布式文件系统有目录结构，顶层目录是： /,存的是文件，把文件存入hdfs后，会把这个文件进行切块并且进行备份，切块大小和备份的数量有客户决定。存文件的叫datanode，记录文件的切块信息的叫namenodeHdfs的安装准备四台linux服务器先在hdp-01上进行下面操作配置域名映射vim /etc/hosts主机名：hdp-01 对应的ip地址：192.1
转载
2024-06-20 19:39:08
447阅读
1.非安全模式在非安全模式下，访问hdfs文件系统的客户端代码如下：package ntci.hadoop.hdfs.test;
import org.apache.hadoop.classification.InterfaceAudience;
import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.*;
转载
2024-03-25 21:42:41
46阅读
# 用Python操作HDFS的实现思路
## 引言
在大数据处理中，HDFS（Hadoop Distributed File System）是一个非常重要的组件，用于存储和管理大规模数据。而Python作为一种流行的编程语言，也被广泛应用于数据处理和分析中。本文将介绍如何使用Python来操作HDFS，以实现数据的存储和读写。
## 操作步骤
### 安装Python库
首先，我们需要
原创
2024-05-06 04:48:14
53阅读
文章目录1. 检查Linux SSH服务2. 本地连接测试3. Linux 安装Cpolar4. 创建远程连接公网地址5. 公网远程连接测试6. 固定连接公网地址7. 固定地址连接测试 本文主要介绍如何在IDEA中设置远程连接服务器开发环境，并结合Cpolar内网穿透工具实现无公网远程连接，然后实现远程Linux环境进行开发。IDEA的远程开发功能，可以将本地的编译、构建、调试、运行等工作都放在
目录1.HDFS Shell Command2.Java API3.C API libhdfs4.其它访问HDFS的方式4.1.WebHDFS4.2.HttpFS4.3.WebHDFS和HttpFS之间区别 访问HDFS常见的客户端有HDFS Shell Command、Java API、C API libhdfs等等。 1.HDFS Shell CommandHDFS Shell Comman
转载
2023-11-30 13:35:44
64阅读
题目一、运维与管理
HDFS 调优；（hdfs-site.xml 配置hadoop的hdfs的参数,/usr/hadoop/hadoop-2.7.3/etc/hadoop）
Yarn 调优； (yarn-site.xml配置yarn的参数/usr/hadoop/hadoop-2.7.3/etc/hadoop）)
MapReduce 调优； （主要是性能调优）
集群权限管理；
转载
2024-04-24 10:13:49
56阅读
HDFS客户端读流程1.打开HDFS文件 用户读取一个HDFS文件时，首先会调用open()方法打开这个文件，并获取文件对应的FSDataInputStream输入流，然后在这个FSDataInputStream对象上调用read()方法读取数据。2.从Namenode获取Datanode地址 在DFSInputStream构造方法中，首先会初始化DFSInputStream的属性，然后会调用op
转载
2024-02-24 17:03:06
57阅读
