一、环境 windows 7 64bit jdk 1.8 hadoop 2.7.4 下载地址：http://hadoop.apache.org/releases.html二、步骤
原创
2017-09-29 09:35:53
7004阅读
1评论
一、hadoop fs 命令1、hadoop fs –fs [local | <file system URI>]：声明hadoop使用的文件系统，如果不声明的话，使用当前配置文件配置的，按如下顺序查找：hadoop jar里的hadoop-default.xml->$HADOOP_CONF_DIR下的hadoop-default.xml->$HADOOP_CONF_DIR
转载
2023-05-30 14:35:58
62阅读
1.protobuf编译安装[root@hadoop1 ~]# yum install svn autoconf automake libtool cmake ncurses-devel openssl-devel gcc*
[root@hadoop1 ~]# tar&
原创
2017-08-28 18:08:11
1177阅读
点赞
环境说明：[root@hadp-master sbin]# hadoop versionHadoop 2.7.4 一、 脚本封装全部一起启动、关闭1.1 启动[root@hadp-master sbin]# ./start-all.sh This script is Deprecated. Inst
转载
2017-08-27 21:44:00
66阅读
2评论
本文主要描述Sqoop1.4.6的安装配置以及使用。一、安装配置1、Sqoop安装[hadoop@hdp01~]$wgethttp://mirror.bit.edu.cn/apache/sqoop/1.4.6/sqoop-1.4.6.bin__hadoop-2.0.4-alpha.tar.gz[hadoop@hdp01~]$tar-xzfsqoop-1.4.6.bin__hadoop-2.0.4-
原创
2017-12-28 16:42:54
4564阅读
首先: 参考 ://blog..net/zhang1234556/article/details/77621487 搭建好hadoop集群。 然后，在master节点安装pig。 我们用MapReduce进行数据分析。当业务比较复杂的时候，使用MapReduce将会是一个很复杂的
转载
2018-01-28 21:18:00
318阅读
2评论
一、 相关概念 Hive Metastore有三种配置方式，分别是： Embedded Metastore Database (Derby) 内嵌模式Local Metastore Server 本地元存储Remote Metastore Server 远程元存储1.1 Metadata、Metas
转载
2017-09-17 20:25:00
310阅读
2评论
# 实现“bde2020/hadoop-datanode:2.0.0-hadoop2.7.4-java8”镜像的步骤
## 1. 确认环境
在开始之前，确保你已经具备以下环境：
- Docker已经安装并配置好
- 有基本的Docker知识
## 2. 拉取镜像
首先我们需要拉取hadoop-datanode镜像，版本为2.0.0-hadoop2.7.4-java8，使用以下命令：
```ma
原创
2023-09-09 14:24:35
351阅读
一、概述本次实验采用VMware虚拟机，linux版本为CentOS7；因为实验所需的5台机器配置大多相同，所以采用配置其中一台，然后使用克隆功能复制另外4份再做具体修改；其中有些步骤以前配置过，此处就说明一下不再做具体配置，具体配置可翻阅以前的博文。二、实验环境1.关闭selinux和firewall2.hadoop-2.7.4.tar.gz；zookeeper-3.4.10.tar.gz；jd
原创
2017-08-30 11:31:53
3134阅读
点赞
# 系统信息3台 系统： centos6.8 内核：4 内存：4G 硬盘：50G# 主机名称，ip地址master: 10.200.201.110slave1: 10.200.201.111slave2: 10.200.201.112######################## 基础初始配置 ################
原创
精选
2017-12-04 16:46:14
10000+阅读
点赞
7评论
hadoop 提供了两种方式对hdfs 进行访问：1 配置客户端，后台连接到客户端进行工作客户端的配置比较简单，只要把配置好的hadoop的namenode节点的hadoop 打包，发到另一台机器（该机器不出现在 etc/hadoop/slaves里就可以）设置一下环境变量 JAVA_HOME HADOOP_HOME 还有一些在hadoop xml配置的临时文件目录等 也改一下（启动时查看日志，根
转载
2023-07-21 16:57:04
54阅读
求$yz$面上二次曲线\begin{equation} \begin{cases} \frac{y^2}{a^2}=2z\\x=0\\ \end{cases}\end{equation}绕$z$轴旋转所得的二次曲面的方程.解：对于二次曲面上的任意点$p=(x,y,z)$.都存在相应的二次曲面上的...
转载
2012-08-12 23:11:00
50阅读
2评论
# Hadoop 分布式文件系统（HDFS）的格式化
## 简介
在使用 Hadoop 分布式文件系统（HDFS）之前，我们需要对 NameNode 进行格式化。根据 Hadoop 的官方文档，格式化 NameNode 是一个条件性的操作，只有在首次启动一个全新的文件系统或者更换了新的硬盘时才需要进行格式化。
本文将向您介绍如何使用命令行格式化 NameNode，并演示如何通过命令行获取格式化
原创
2023-08-18 04:12:05
111阅读
求$yz$面上二次曲线\begin{equation} \begin{cases} \frac{y^2}{a^2}=2z\\x=0\\ \end{cases}\end{equation}绕$z$轴旋转所得的二次曲面的方程.解：对于二次曲面上的任意点$p=(x,y,z)$.都存在相应的二次曲面上的...
转载
2012-08-12 23:11:00
50阅读
2评论
1.相关连接编译官方说明https://cwiki.apache.or
原创
2023-05-17 11:51:25
471阅读
关于 Apache PulsarApache Pulsar 是 Apache 软件基金会顶级项目，是下一代云原生分布式消息流平台，集消息、存储、轻量化函数式计算为一体，采用计算与存储分离架...
原创
2022-01-11 11:56:58
72阅读
一、概述 上篇文章：Hadoop3.x入门：详解虚拟机Ambari2.7.4安装HDP3.1.4（一）讲解了ambari安装之前的初始化工作，这里我们讲解如何通过ambari界面安装集群的各个组件，为了便于大家理解，接下来的每一步我都截图展示。环境信息：IP主机名备注192.168.0.101master.hadoop.ljsmaster 主节点192.168.0.102worker1.ha
原创
2021-03-10 09:53:13
606阅读
.虚拟机配置 我这里是用我自己的台式机装了vmware15，然后搞了三台虚拟机，我这里虚拟机配置完成后可以联网，为方便大家学习，我基本都是按照离线安装来讲的 ，简单的步骤不讲，只说比较重要的几个步骤：1.三台虚拟机信息IP主机名备注192.168.0.101master.hadoop.ljsmaster192.168.0.102worker1.hadoop.ljsworker1192.168
原创
2021-03-10 09:53:46
1076阅读
