一、环境     windows 7  64bit     jdk  1.8        hadoop  2.7.4  下载地址:http://hadoop.apache.org/releases.html二、步骤  
原创 2017-09-29 09:35:53
7007阅读
1评论
一、hadoop fs 命令1、hadoop fs –fs [local | <file system URI>]:声明hadoop使用的文件系统,如果不声明的话,使用当前配置文件配置的,按如下顺序查找:hadoop jar里的hadoop-default.xml->$HADOOP_CONF_DIR下的hadoop-default.xml->$HADOOP_CONF_DIR
转载 2023-05-30 14:35:58
62阅读
Hadoop2.7.4完全分布式集群构建
原创 2018-12-14 19:10:01
656阅读
1.protobuf编译安装[root@hadoop1 ~]# yum install svn autoconf automake libtool cmake ncurses-devel openssl-devel gcc* [root@hadoop1 ~]# tar&
原创 2017-08-28 18:08:11
1177阅读
2点赞
环境说明:[root@hadp-master sbin]# hadoop versionHadoop 2.7.4 一、 脚本封装全部一起启动、关闭1.1 启动[root@hadp-master sbin]# ./start-all.sh This script is Deprecated. Inst
转载 2017-08-27 21:44:00
66阅读
2评论
本文主要描述Sqoop1.4.6的安装配置以及使用。一、安装配置1、Sqoop安装[hadoop@hdp01~]$wgethttp://mirror.bit.edu.cn/apache/sqoop/1.4.6/sqoop-1.4.6.bin__hadoop-2.0.4-alpha.tar.gz[hadoop@hdp01~]$tar-xzfsqoop-1.4.6.bin__hadoop-2.0.4-
原创 2017-12-28 16:42:54
4564阅读
首先: 参考 ://blog..net/zhang1234556/article/details/77621487 搭建好hadoop集群。 然后,在master节点安装pig。 我们用MapReduce进行数据分析。当业务比较复杂的时候,使用MapReduce将会是一个很复杂的
转载 2018-01-28 21:18:00
318阅读
2评论
一、 相关概念 Hive Metastore有三种配置方式,分别是: Embedded Metastore Database (Derby) 内嵌模式Local Metastore Server 本地元存储Remote Metastore Server 远程元存储1.1 Metadata、Metas
转载 2017-09-17 20:25:00
310阅读
2评论
# 实现“bde2020/hadoop-datanode:2.0.0-hadoop2.7.4-java8”镜像的步骤 ## 1. 确认环境 在开始之前,确保你已经具备以下环境: - Docker已经安装并配置好 - 有基本的Docker知识 ## 2. 拉取镜像 首先我们需要拉取hadoop-datanode镜像,版本为2.0.0-hadoop2.7.4-java8,使用以下命令: ```ma
原创 2023-09-09 14:24:35
354阅读
一、概述本次实验采用VMware虚拟机,linux版本为CentOS7;因为实验所需的5台机器配置大多相同,所以采用配置其中一台,然后使用克隆功能复制另外4份再做具体修改;其中有些步骤以前配置过,此处就说明一下不再做具体配置,具体配置可翻阅以前的博文。二、实验环境1.关闭selinux和firewall2.hadoop-2.7.4.tar.gz;zookeeper-3.4.10.tar.gz;jd
原创 2017-08-30 11:31:53
3134阅读
2点赞
Hadoop配置本文章在其他文章基础上参考编辑Hadoop配置APIhadoop中的组件都是通过Hadoop自己的配置API配置的,一个Configuration类的实例代表了Hadoop集群的配置。配置类似于Map,由属性及值组成。属性为String类型,值则可以为java基本类型、其他有用类型(例如String、Class、java.io.File)及String集合。API重要属性quite
转载 2023-10-04 09:16:09
133阅读
地址:介绍http://hadoop.apache.org/docs/r1.0.4/cn/index.html集群搭建http://hadoop.apache.org/docs/r1.0.4/cn/cluster_setup.htmlmap Reducehttp://hadoop.apache.org/docs/r1.0.4/cn/mapred_tutorial.html...
原创 2022-08-02 15:23:37
69阅读
HDFS是Hadoop的分布式文件系统,负责海量数据的存取 文章目录零、使用API的套路一、获取FileSystem对象二、释放FileSystem资源三、使用FileSystem对象1、创建文件夹 mkdirs()2、上传文件 copyFromLocalFile()3、下载文件 copyToLocalFile()4、文件的更名和移动 rename()5、删除文件或目录 delete()6、查看文
HDFS JAVA APIversion 273HBASE JAVA APIversion 124MAPREDUCE JAVA APIversion 273 HDFS JAVA API(version 2.7.3)HDFS 分布式文件系统JAVA API。与local的java 文件系统的API类似。NameDescriptionorg.apache.hadoop.conf.configurat
转载 2023-08-18 10:43:51
46阅读
一 、配置Windows下的Hadoop环境 导入依赖与插件<dependencies> <dependency> <groupId>org.apache.hadoop</groupId> <artifactId>hadoop-common</artifactI
转载 2023-07-13 17:53:55
50阅读
目录引言API实操1、连接hdfs(一)2、连接hdfs(二)3、创建文件夹4、上传文件5、遍历文件夹6、下载文件7、重命名文件或者文件夹8、删除文件或者文件夹9、小文件合并 引言HDFS在生产应用中主要是客户端的开发,其核心步骤是从HDFS提供的API中构造一个HDFS的访问客户端对象,然后通过该客户端对象操作(增删改查)HDFS上的文件。API介绍:   1. API(Application
转载 2023-09-19 21:41:21
91阅读
结果令小菜很失望,就找到了一个符合理想的帖子。但是通过这个帖子,小菜知道了,mapred代表的是hadoopAPI,而mapreduce代表的是hadoop新的API。 OK,小菜在google输入框中输入“hadoop新旧API的区别”,结果很多。看了之后,又结合权威指南归结如下: 1.    首先第一条,也是小菜今天碰到这些问题的原因,新旧API不兼容。所以,
转载 2023-07-14 20:29:35
65阅读
对于一些应用,需要特殊的数据结构来存储数据。比如运行基于MapReduce的进程,当存储数据时,将每个二进制数据块放入它自己的文件,这样做使得后期不容易扩展。为此,hadoop开发了一系列高级容器。一、SequenceFile类 包为:org.apache.hadoop.io.SequenceFile Hadoop的SequenceFile类为二进制键值对提供了一个持续化的数据结构。它提供了Wri
转载 2024-03-13 13:53:37
37阅读
一、从Hadoop URL 中读取数据使用java.net.URL对象打开一个数据流InputStream in = new URL("hdfs://host/path").openStream();二、FileSystem 对象取得FileSystem实例有两种静态方法:(1)public static FileSystem get(Configuration conf) //Configura
转载 2023-09-14 13:06:25
53阅读
Hadoop Java API1、常用对象org.apache.hadoop.fs.FileSystemHDFS的主要操作对象,必须获取到这个实例对象,才可以操作HDFS.这是一个比较通用的文件系统的抽象基类,可以实现分布式系统或者本地连接磁盘,本地版本可以做hadoop的小测试。要想使用HDFS,那么就得使用这个FileSystem的对象或者子类对象。本地实现是LocalFileSystem,分
转载 2023-07-03 20:29:44
106阅读
  • 1
  • 2
  • 3
  • 4
  • 5