标题一、java 入门篇标题1.1.Java发展史20 世纪 90 年代，随着单片式计算机系统的发展，java应运而生。在 1991 年成立了一个由詹姆斯·高斯林（James Gosling）领导的 名为“Green”项目小组，目的是开发能在电子产品上运行的程序架构，促进互联网的发展。 1995 年， 他们用 OaK 语言研发了一种能将小程序嵌入到网页中执行的技术——Applet，由于 Apple
转载
2024-06-05 15:42:44
40阅读
# Python连接Hive Kerberos认证流程
## 概述
在本篇文章中，我将教会你如何使用Python连接到Hive数据库，并使用Kerberos认证进行身份验证。Kerberos是一种网络认证协议，可以确保用户的身份和数据的机密性。我们将按照以下步骤进行操作：
1. 安装必要的库
2. 配置Kerberos
3. 编写Python代码连接Hive
## 步骤
| 步骤 | 动作
原创
2023-07-23 11:02:07
270阅读
在eclipse中创建一个java工程，然后导入hadoop中的7个jar包(如图)；如果为了方便调试hadoop源码，可以
原创
2022-06-15 17:20:47
81阅读
HDFS 作为开源界比较成熟的分布式文件存储系统，适用于海量文件存储，本文介绍了如何使用 Java 操作 HDFS，采用 Maven 管理包。pom.xml<
原创
2023-05-17 11:39:22
104阅读
常用的hdfs操作一、实验目的二、实验平台三、实验内容1. 使用Hadoop命令操作分布式文件系统。2. HDFS-JAVA接口之读取文件3. HDFS-JAVA接口之上传文件4. HDFS-JAVA接口之删除文件 一、实验目的理解HDFS在Hadoop体系结构中的角色熟练使用HDFS操作常用的shell命令熟悉HDFS操作常用的Java API二、实验平台操作系统：CentOS 8Hadoop
转载
2023-07-19 11:22:11
217阅读
# Java操作HDFS指南
欢迎来到本篇Java操作HDFS的指南！在本文中，我将向您介绍如何使用Java编程语言来操作Hadoop分布式文件系统（HDFS）。对于刚入行的小白来说，这可能是一个挑战，但随着本文的指导，您将能够轻松地实现java操作hdfs。首先，让我们来了解一下整个流程。
## 操作HDFS的整体流程
下表展示了java操作HDFS的基本流程：
| 步骤 | 描述
原创
2024-05-16 10:10:40
43阅读
1.添加maven依赖，即在pom.xml文件李添加依赖 <?xml version="1.0" encoding="UTF-8"?> <project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/20
原创
2022-12-04 00:20:54
170阅读
package cagy.hap;import java.io.FileNotFoundException;import java.io.IOException;import org.apache.hadoop.conf.Configuration;import org.apache.hadoop.fs.FileStatus;import org.apache.hadoop.fs.Fil...
原创
2023-01-09 19:11:16
121阅读
1、创建目录1234567891011121314import java.io.IOException;import org.apache.hadoop.conf.Configuration;import org.apache.hadoop.fs.FileSystem;import or
原创
2021-09-02 16:42:42
179阅读
# Java操作HDFS
HDFS（Hadoop Distributed File System）是Hadoop的分布式文件系统，它提供了高可靠性、高容量和高性能的数据存储解决方案。Java是Hadoop的主要编程语言，通过Java编写的应用程序可以方便地操作HDFS。
本文将介绍如何使用Java操作HDFS，并提供一些示例代码来帮助读者更好地理解。
## HDFS Java API
Ha
原创
2023-11-02 09:05:17
22阅读
# Mybatis与Hive集成及Kerberos认证
## 简介
在大数据处理领域，Hive是一个常用的数据仓库工具，而Mybatis是一个流行的Java持久层框架。本文将介绍如何使用Mybatis与Hive集成，并实现Kerberos认证，以确保数据安全。
## Mybatis与Hive集成
Mybatis是一个优秀的ORM框架，通过XML或注解的方式，使得开发人员可以方便地操作数据库
原创
2024-04-18 05:29:44
356阅读
HDFS的Java访问接口1)org.apache.hadoop.fs.FileSystem是一个通用的文件系统API，提供了不同文件系统的统一访问方式。2)org.apache.hadoop.fs.Path是Hadoop文件系统中统一的文件或目录描述，类似于java.io.File对本地文件系统的文件或目录描述。3)org.apache.hadoop.conf.Configuration读取、解
转载
2023-07-21 16:09:13
58阅读
1.Java代码操作HDFS需要用到Jar包和Java类Jar包:hadoop-common-2.6.0.jar和hadoop-hdfs-2.6.0.jarJava类:java.net.URL
org.apache.hadoop.fs.FsUrlStreamHandlerFactory
java.net.URI
org.apache.hadoop.conf.Configuration
org.ap
转载
2024-02-28 08:43:42
86阅读
这里主要是利用Hadoop提供的API来操作,在本地编写代码,操作集群上的HDFS.本篇介绍的是若干从HDFS读取文件的操作.工具:IntelliJ IDEA Community Edition 2018.1.3 1.使用java.net.URL使用此方法的话,需要进行一些其他操作.此处读取的是hdfs-site.xml这个配置文件,取出前100字节并输出.import org.apac
转载
2023-06-15 17:36:26
92阅读
# Java操作HDFS数据教程
## 一、整体流程
下面是Java操作HDFS数据的整体流程，可以用表格来展示：
| 步骤 | 描述 |
| ---- | ---- |
| 步骤1 | 创建Hadoop配置对象 |
| 步骤2 | 创建HDFS文件系统对象 |
| 步骤3 | 创建文件读取流 |
| 步骤4 | 创建文件写入流 |
| 步骤5 | 读取HDFS中的文件 |
| 步骤6 |
原创
2023-11-21 07:29:56
39阅读
在这里总结了一下使用java对HDFS上文件的操作，比如创建目录、上传下载文件、文件改名、删除……首先对一些类名、变量名做出解释说明：FileSystem: 文件系统的抽象基类 FileSystem的实现取决于fs.defaultFS的配置！有两种实现！ LocalFileSystem： 本地文件系统 fs.defaultFS=file:/// DistributedFileSystem： 分布式
转载
2024-02-29 12:34:43
50阅读
1 HDFS的必会Java操作 1.1 创建目录 //创建目录 public static void mkdir(String filePath) throws URISyntaxException, IOException, InterruptedException{ FileSystem fs
原创
2021-07-20 09:26:16
332阅读
HDFS API的高级编程HDFS的API就两个：FileSystem 和Configuration1、文件的上传和下载1 package com.ghgj.hdfs.api;
2
3 import org.apache.hadoop.conf.Configuration;
4 import org.apache.hadoop.fs.FileSystem;
5 import org.ap
转载
2023-07-11 18:47:41
203阅读
目标：通过Java编程实现远程HDFS文件系统的增、删、改、查，并且解释原理。一、准备工作集群：搭建Hadoop集群，并且启动HDFS。二、创建Maven工程选择创建工程：选择JDK版本，并勾选"create from archetype"选项，千万不要手贱选择“quick start”，选快速开启的话，创建的maven工程中是看不到src目录的！！！然后选择next。在下面的界面中，GroupI
转载
2023-08-18 22:32:46
52阅读
HDFS是存储数据的分布式文件系统，对HDFS的操作，就是对文件系统的操作，除了用HDFS的shell命令对文件系统进行操作，我们也可以利用Java API对文件系统进行操作，比如文件的创建、删除、修改权限等等，还有文件夹的创建、删除、重命名等等。使用Java API对文件系统进行操作主要涉及以下几个类：1.Configuration类：该类的对象封装了客户端或者服务端的配置。2.FileSyst
转载
2023-09-04 15:51:31
51阅读
