一、环境 windows 7 64bit jdk 1.8 hadoop 2.7.4 下载地址：http://hadoop.apache.org/releases.html二、步骤
原创
2017-09-29 09:35:53
7007阅读
1评论
一、hadoop fs 命令1、hadoop fs –fs [local | <file system URI>]：声明hadoop使用的文件系统，如果不声明的话，使用当前配置文件配置的，按如下顺序查找：hadoop jar里的hadoop-default.xml->$HADOOP_CONF_DIR下的hadoop-default.xml->$HADOOP_CONF_DIR
转载
2023-05-30 14:35:58
62阅读
Hadoop2.7.4完全分布式集群构建
原创
2018-12-14 19:10:01
656阅读
1.protobuf编译安装[root@hadoop1 ~]# yum install svn autoconf automake libtool cmake ncurses-devel openssl-devel gcc*
[root@hadoop1 ~]# tar&
原创
2017-08-28 18:08:11
1177阅读
点赞
环境说明：[root@hadp-master sbin]# hadoop versionHadoop 2.7.4 一、 脚本封装全部一起启动、关闭1.1 启动[root@hadp-master sbin]# ./start-all.sh This script is Deprecated. Inst
转载
2017-08-27 21:44:00
66阅读
2评论
本文主要描述Sqoop1.4.6的安装配置以及使用。一、安装配置1、Sqoop安装[hadoop@hdp01~]$wgethttp://mirror.bit.edu.cn/apache/sqoop/1.4.6/sqoop-1.4.6.bin__hadoop-2.0.4-alpha.tar.gz[hadoop@hdp01~]$tar-xzfsqoop-1.4.6.bin__hadoop-2.0.4-
原创
2017-12-28 16:42:54
4564阅读
首先: 参考 ://blog..net/zhang1234556/article/details/77621487 搭建好hadoop集群。 然后，在master节点安装pig。 我们用MapReduce进行数据分析。当业务比较复杂的时候，使用MapReduce将会是一个很复杂的
转载
2018-01-28 21:18:00
318阅读
2评论
一、 相关概念 Hive Metastore有三种配置方式，分别是： Embedded Metastore Database (Derby) 内嵌模式Local Metastore Server 本地元存储Remote Metastore Server 远程元存储1.1 Metadata、Metas
转载
2017-09-17 20:25:00
310阅读
2评论
# 实现“bde2020/hadoop-datanode:2.0.0-hadoop2.7.4-java8”镜像的步骤
## 1. 确认环境
在开始之前，确保你已经具备以下环境：
- Docker已经安装并配置好
- 有基本的Docker知识
## 2. 拉取镜像
首先我们需要拉取hadoop-datanode镜像，版本为2.0.0-hadoop2.7.4-java8，使用以下命令：
```ma
原创
2023-09-09 14:24:35
354阅读
一、概述本次实验采用VMware虚拟机，linux版本为CentOS7；因为实验所需的5台机器配置大多相同，所以采用配置其中一台，然后使用克隆功能复制另外4份再做具体修改；其中有些步骤以前配置过，此处就说明一下不再做具体配置，具体配置可翻阅以前的博文。二、实验环境1.关闭selinux和firewall2.hadoop-2.7.4.tar.gz；zookeeper-3.4.10.tar.gz；jd
原创
2017-08-30 11:31:53
3134阅读
点赞
任务一：虚拟机安装任务二：Linux系统安装Hadoop是一个开源的、可运行与Linux集群上的分布式计算平台，用户可借助Hadoop存储和分析大数据。本项目包含的任务有基础环境的配置（虚拟机安装、Linux安装等），Hadoop集群搭建、验证。任务一：虚拟机安装（1）VMware Workstation（本课程使用该软件）：https://pan.baidu.com/s/1izck7kVLcPS
转载
2023-07-19 13:23:13
119阅读
# 系统信息3台 系统： centos6.8 内核：4 内存：4G 硬盘：50G# 主机名称，ip地址master: 10.200.201.110slave1: 10.200.201.111slave2: 10.200.201.112######################## 基础初始配置 ################
原创
精选
2017-12-04 16:46:14
10000+阅读
点赞
7评论
大数据从入门到实战 - 第2章 分布式文件系统HDFS第1关：HDFS的基本操作任务描述本关任务：使用Hadoop命令来操作分布式文件系统。编程要求在右侧命令行中启动Hadoop，进行如下操作。在HDFS中创建/usr/output/文件夹；在本地创建hello.txt文件并添加内容：“HDFS的块比磁盘的块大，其目的是为了最小化寻址开销。”；将hello.txt上传至HDFS的/usr/outp
转载
2023-08-09 20:52:42
349阅读
上一篇文章，博主为大家分享了hadoop的安装以及集群的启动，本篇博客将带领小伙伴们一起来感受下hadoop命令和Linux命令的使用有什么不同。 一、首先，启动hadoop集群，执行脚本sh start-dfs.sh;sh start-yarn.sh 二、浏览器中查看dfs中的文件目录（此时文件为空），对应的到h
转载
2023-09-26 15:52:04
70阅读
本讲通过实验的方式讲解Hadoop文件系统的操作。“云计算分布式大数据Hadoop实战高手之路”之完整发布目录首先我们看一些比较常用的Hadoop文件系统的操作命令：第一个常用命令：hadoop fs –ls例如使用以下命令是列出文件系统根目录下的文件和文件夹，具体效果如下图所示： 第二个常用命令：hadoop fs –mkidr例如使用以下命令是在HDFS中的根目录下创建一
转载
2023-05-22 09:12:06
186阅读
hadoop 提供了两种方式对hdfs 进行访问：1 配置客户端，后台连接到客户端进行工作客户端的配置比较简单，只要把配置好的hadoop的namenode节点的hadoop 打包，发到另一台机器（该机器不出现在 etc/hadoop/slaves里就可以）设置一下环境变量 JAVA_HOME HADOOP_HOME 还有一些在hadoop xml配置的临时文件目录等 也改一下（启动时查看日志，根
转载
2023-07-21 16:57:04
54阅读
第三章、Hadoop基础操作目录结构：1.查看Hadoop集群的基本信息 1.1 查询集群的存储系统信息 1.2 查询系统的计算资源信息2.上传文件到HDFS目录 2.1 了解HDFS文件系统 2.2 掌握HDFS的基本操作 &nbs
转载
2023-07-28 18:39:31
393阅读
求$yz$面上二次曲线\begin{equation} \begin{cases} \frac{y^2}{a^2}=2z\\x=0\\ \end{cases}\end{equation}绕$z$轴旋转所得的二次曲面的方程.解：对于二次曲面上的任意点$p=(x,y,z)$.都存在相应的二次曲面上的...
转载
2012-08-12 23:11:00
50阅读
2评论
安装centos，配置stable ip address，文件系统，根目录用户密码，hostname，安装相关工具打开centos，创建hadoop用户，密码。配置eth0，onboot=YES， 重启网卡。关闭iptables，selinux，安装vsftpd安装辅助工具：flashfxp，secureCRT。vsftp上传 JDK 和 Hadoop。安装JDK，检测。配置SSH,实现maste
转载
2023-05-23 17:30:59
123阅读
实验目的要求 目的：（1）掌握数据仓库工具Hive的使用；要求：掌握数据仓库Hive的使用；能够正常操作数据库、表、数据； 实验环境 五台独立PC式虚拟机；主机之间有
转载
2023-07-25 09:52:04
146阅读
