1.protobuf编译安装[root@hadoop1 ~]# yum install svn autoconf automake libtool cmake ncurses-devel openssl-devel gcc* [root@hadoop1 ~]# tar&
原创 2017-08-28 18:08:11
1177阅读
2点赞
环境说明:[root@hadp-master sbin]# hadoop versionHadoop 2.7.4 一、 脚本封装全部一起启动、关闭1.1 启动[root@hadp-master sbin]# ./start-all.sh This script is Deprecated. Inst
转载 2017-08-27 21:44:00
66阅读
2评论
本文主要描述Sqoop1.4.6的安装配置以及使用。一、安装配置1、Sqoop安装[hadoop@hdp01~]$wgethttp://mirror.bit.edu.cn/apache/sqoop/1.4.6/sqoop-1.4.6.bin__hadoop-2.0.4-alpha.tar.gz[hadoop@hdp01~]$tar-xzfsqoop-1.4.6.bin__hadoop-2.0.4-
原创 2017-12-28 16:42:54
4564阅读
一、环境     windows 7  64bit     jdk  1.8        hadoop  2.7.4  下载地址:http://hadoop.apache.org/releases.html二、步骤  
原创 2017-09-29 09:35:53
7007阅读
1评论
准备工作,安装包: 第一步,在linux下安装好hadoop, http://user.qzone.qq.com/627956202/infocenter#!app=2&via=QZ.HashRefresh&pos=1351246281 第二步,在Eclipse下安装hadoop-plugin。 1.复制 hadoop安装目录/cont
转载 2023-11-16 14:25:04
140阅读
一、hadoop fs 命令1、hadoop fs –fs [local | <file system URI>]:声明hadoop使用的文件系统,如果不声明的话,使用当前配置文件配置的,按如下顺序查找:hadoop jar里的hadoop-default.xml->$HADOOP_CONF_DIR下的hadoop-default.xml->$HADOOP_CONF_DIR
转载 2023-05-30 14:35:58
62阅读
首先: 参考 ://blog..net/zhang1234556/article/details/77621487 搭建好hadoop集群。 然后,在master节点安装pig。 我们用MapReduce进行数据分析。当业务比较复杂的时候,使用MapReduce将会是一个很复杂的
转载 2018-01-28 21:18:00
318阅读
2评论
在处理“Hadoop plugin 路径”的问题时,我们需要系统地进行环境准备、配置以及测试和排错,确保每一步的设置都是清晰和准确的。以下就是这一过程的详细记录。 ### 环境准备 首先,确保你的软硬件环境符合以下要求: | 组件 | 版本 | |----------------|----------------
原创 5月前
6阅读
一、 相关概念 Hive Metastore有三种配置方式,分别是: Embedded Metastore Database (Derby) 内嵌模式Local Metastore Server 本地元存储Remote Metastore Server 远程元存储1.1 Metadata、Metas
转载 2017-09-17 20:25:00
310阅读
2评论
# 实现“bde2020/hadoop-datanode:2.0.0-hadoop2.7.4-java8”镜像的步骤 ## 1. 确认环境 在开始之前,确保你已经具备以下环境: - Docker已经安装并配置好 - 有基本的Docker知识 ## 2. 拉取镜像 首先我们需要拉取hadoop-datanode镜像,版本为2.0.0-hadoop2.7.4-java8,使用以下命令: ```ma
原创 2023-09-09 14:24:35
351阅读
一、概述本次实验采用VMware虚拟机,linux版本为CentOS7;因为实验所需的5台机器配置大多相同,所以采用配置其中一台,然后使用克隆功能复制另外4份再做具体修改;其中有些步骤以前配置过,此处就说明一下不再做具体配置,具体配置可翻阅以前的博文。二、实验环境1.关闭selinux和firewall2.hadoop-2.7.4.tar.gz;zookeeper-3.4.10.tar.gz;jd
原创 2017-08-30 11:31:53
3134阅读
2点赞
编译、测试Hadoop Eclipse plugin平台:OS CentOSrelease 6.4 (Final) X64Hadoop 1.1.3描述:使用ant 工具编译 Hadoop Eclipse 插件一、操作所需步骤:1、安装配置 ant2、配置Hadoop 文件分别是: $HADOOP_HOME/build.xml $HADOOP_HOME/src/contrib/build-c
原创 2013-11-06 17:30:02
2111阅读
Hadoop2.7.4完全分布式集群构建
原创 2018-12-14 19:10:01
656阅读
hadoop-eclipse-plugin-2.7.5 hadoop 2.7.5
原创 2018-04-07 17:37:35
2447阅读
1点赞
下载我们需要的  hadoop-eclipse-plugin-2.7.3.jar,winutils.exe 和 hadoop.dll记录安装中遇到的问题链接:https://pan.baidu.com/s/1g4QpGTJvF1IGd929L8bQxQ提取码:97ey可以模仿TA,有问题留言https://www.cnblogs.com/supiaopiao/p/7240308....
原创 2021-06-21 16:45:15
274阅读
下载我们需要的  hadoop-eclipse-plugin-2.7.3.jar,winutils.exe 和 hadoop.dll记录安装中遇到的问题链接:https://pan.baidu.com/s/1g4QpGTJvF1IGd929L8bQxQ 提取码:97ey可以模仿TA,有问题留言 遇到问题请继续向下看,记得保存​​最底部有重点​​最近,发现新版
原创 2022-04-02 10:53:34
808阅读
参考了很多mapre1 插件生成文档,大部分都是hadoop标准版本的,这里给
原创 2022-11-11 16:42:10
159阅读
Hadoop-eclipse-plugin插件安装学习Hadoop有一段时间了,以前每次的做法都是先在win下用eclipse写好Mapreduce程序,然后打成jar文件,上传到linux下用hadoop集群去运行jar文件。然后这样的话调试起来极其麻烦。所以想到安装hadoop的eclipse插...
转载 2015-09-12 00:03:00
338阅读
2评论
# 系统信息3台 系统: centos6.8 内核:4   内存:4G  硬盘:50G# 主机名称,ip地址master: 10.200.201.110slave1: 10.200.201.111slave2: 10.200.201.112########################   基础初始配置 ################
原创 精选 2017-12-04 16:46:14
10000+阅读
4点赞
7评论
hadoop 提供了两种方式对hdfs 进行访问:1 配置客户端,后台连接到客户端进行工作客户端的配置比较简单,只要把配置好的hadoop的namenode节点的hadoop 打包,发到另一台机器(该机器不出现在 etc/hadoop/slaves里就可以)设置一下环境变量 JAVA_HOME HADOOP_HOME 还有一些在hadoop xml配置的临时文件目录等 也改一下(启动时查看日志,根
  • 1
  • 2
  • 3
  • 4
  • 5