一、环境 windows 7 64bit jdk 1.8 hadoop 2.7.4 下载地址：http://hadoop.apache.org/releases.html二、步骤
原创
2017-09-29 09:35:53
7007阅读
1评论
一、hadoop fs 命令1、hadoop fs –fs [local | <file system URI>]：声明hadoop使用的文件系统，如果不声明的话，使用当前配置文件配置的，按如下顺序查找：hadoop jar里的hadoop-default.xml->$HADOOP_CONF_DIR下的hadoop-default.xml->$HADOOP_CONF_DIR
转载
2023-05-30 14:35:58
62阅读
1.protobuf编译安装[root@hadoop1 ~]# yum install svn autoconf automake libtool cmake ncurses-devel openssl-devel gcc*
[root@hadoop1 ~]# tar&
原创
2017-08-28 18:08:11
1177阅读
点赞
环境说明：[root@hadp-master sbin]# hadoop versionHadoop 2.7.4 一、 脚本封装全部一起启动、关闭1.1 启动[root@hadp-master sbin]# ./start-all.sh This script is Deprecated. Inst
转载
2017-08-27 21:44:00
66阅读
2评论
本文主要描述Sqoop1.4.6的安装配置以及使用。一、安装配置1、Sqoop安装[hadoop@hdp01~]$wgethttp://mirror.bit.edu.cn/apache/sqoop/1.4.6/sqoop-1.4.6.bin__hadoop-2.0.4-alpha.tar.gz[hadoop@hdp01~]$tar-xzfsqoop-1.4.6.bin__hadoop-2.0.4-
原创
2017-12-28 16:42:54
4564阅读
使用 C# 调用 Hadoop HttpFS HttpFS 是 Hadoop 的 RESTful Web APi，Java可以直接调用 Hadoop 的 API，其它语言则要通过 WebHDFS 调用，貌似 Azure 有对应的 API？我也不懂，就自己写了 开启 HttpFS 步骤 参考链接：ht ...
转载
2021-11-02 19:44:00
459阅读
2评论
首先: 参考 ://blog..net/zhang1234556/article/details/77621487 搭建好hadoop集群。 然后，在master节点安装pig。 我们用MapReduce进行数据分析。当业务比较复杂的时候，使用MapReduce将会是一个很复杂的
转载
2018-01-28 21:18:00
318阅读
2评论
一、 相关概念 Hive Metastore有三种配置方式，分别是： Embedded Metastore Database (Derby) 内嵌模式Local Metastore Server 本地元存储Remote Metastore Server 远程元存储1.1 Metadata、Metas
转载
2017-09-17 20:25:00
310阅读
2评论
# 使用 Python KerberosClient 访问 HttpFS
## 介绍
KerberosClient 是一个 Python 包，用于使用 Kerberos 协议进行身份验证和访问受保护资源。HttpFS 是 Hadoop 文件系统的一种 RESTful 接口，通过 HTTP 进行文件操作。本文将介绍如何使用 Python KerberosClient 访问 HttpFS，实现安全
原创
2023-12-04 06:26:45
191阅读
# 实现“bde2020/hadoop-datanode:2.0.0-hadoop2.7.4-java8”镜像的步骤
## 1. 确认环境
在开始之前，确保你已经具备以下环境：
- Docker已经安装并配置好
- 有基本的Docker知识
## 2. 拉取镜像
首先我们需要拉取hadoop-datanode镜像，版本为2.0.0-hadoop2.7.4-java8，使用以下命令：
```ma
原创
2023-09-09 14:24:35
351阅读
一、概述本次实验采用VMware虚拟机，linux版本为CentOS7；因为实验所需的5台机器配置大多相同，所以采用配置其中一台，然后使用克隆功能复制另外4份再做具体修改；其中有些步骤以前配置过，此处就说明一下不再做具体配置，具体配置可翻阅以前的博文。二、实验环境1.关闭selinux和firewall2.hadoop-2.7.4.tar.gz；zookeeper-3.4.10.tar.gz；jd
原创
2017-08-30 11:31:53
3134阅读
点赞
httpfs安装指南 安装环境 Linux maven3 jdk1.6 本地的maven源（有些依赖的jar包Cloudera已不再维护） 1.下载httfs源代码包 https://github.com/cloudera/httpfs 使用git下载 git clone https://githu
转载
2017-07-10 15:42:00
378阅读
2评论
HDFS支持两种RESTful接口：WebHDFS和HttpFS。WebHDFS默认端口号为50070，HttpFS默认端口号为14000。默认启动WebHDFS而不会启动HttpFS，而HttpFS需要通过sbin/httpfs.sh来启动。WebHDFS模式客户端和DataNode直接交互，HttpFS是一个代理模式。对于Hue，如果HDFS是HA方式部署的，则只能使用HttpFS模式。
原创
2021-09-26 11:15:08
604阅读
HDFS支持两种RESTful接口：WebHDFS和HttpFS。 WebHDFS默认端口号为50070，HttpFS默认端口号为14000。 默认启动WebHDFS而不会启动HttpFS，而HttpFS需要通过sbin/httpfs.sh来启动。 WebHDFS模式客户端和DataNode直接交互，HttpFS是一个代理模式。对于Hue，如果HDFS是HA方式部署的，则只能使用HttpFS模式。
原创
2022-01-18 14:26:55
257阅读
前言目前博客Hadoop文章大都停留在Hadoop2.x阶段，本系列将依据黑马程序员大数据Hadoop3.x全套教程，对2.x没有的新特性进行补充更新，一键三连加关注，下次不迷路！历史文章[hadoop3.x系列]HDFS REST HTTP API的使用(一)WebHDFS????HTTPFS概述l HttpHDFS本质上和WebHDFS是一样的
原创
2021-10-08 09:53:37
314阅读
前言目前博客Hadoop文章大都停留在Hadoop2.x阶段
原创
2022-02-11 11:28:36
135阅读
# 系统信息3台 系统： centos6.8 内核：4 内存：4G 硬盘：50G# 主机名称，ip地址master: 10.200.201.110slave1: 10.200.201.111slave2: 10.200.201.112######################## 基础初始配置 ################
原创
精选
2017-12-04 16:46:14
10000+阅读
点赞
7评论
hadoop 提供了两种方式对hdfs 进行访问：1 配置客户端，后台连接到客户端进行工作客户端的配置比较简单，只要把配置好的hadoop的namenode节点的hadoop 打包，发到另一台机器（该机器不出现在 etc/hadoop/slaves里就可以）设置一下环境变量 JAVA_HOME HADOOP_HOME 还有一些在hadoop xml配置的临时文件目录等 也改一下（启动时查看日志，根
转载
2023-07-21 16:57:04
54阅读
