一、环境 windows 7 64bit jdk 1.8 hadoop 2.7.4 下载地址：http://hadoop.apache.org/releases.html二、步骤
原创
2017-09-29 09:35:53
7007阅读
1评论
一、hadoop fs 命令1、hadoop fs –fs [local | <file system URI>]：声明hadoop使用的文件系统，如果不声明的话，使用当前配置文件配置的，按如下顺序查找：hadoop jar里的hadoop-default.xml->$HADOOP_CONF_DIR下的hadoop-default.xml->$HADOOP_CONF_DIR
转载
2023-05-30 14:35:58
62阅读
Hadoop2.7.4完全分布式集群构建
原创
2018-12-14 19:10:01
656阅读
1.protobuf编译安装[root@hadoop1 ~]# yum install svn autoconf automake libtool cmake ncurses-devel openssl-devel gcc*
[root@hadoop1 ~]# tar&
原创
2017-08-28 18:08:11
1177阅读
点赞
环境说明：[root@hadp-master sbin]# hadoop versionHadoop 2.7.4 一、 脚本封装全部一起启动、关闭1.1 启动[root@hadp-master sbin]# ./start-all.sh This script is Deprecated. Inst
转载
2017-08-27 21:44:00
66阅读
2评论
本文主要描述Sqoop1.4.6的安装配置以及使用。一、安装配置1、Sqoop安装[hadoop@hdp01~]$wgethttp://mirror.bit.edu.cn/apache/sqoop/1.4.6/sqoop-1.4.6.bin__hadoop-2.0.4-alpha.tar.gz[hadoop@hdp01~]$tar-xzfsqoop-1.4.6.bin__hadoop-2.0.4-
原创
2017-12-28 16:42:54
4564阅读
在大数据处理领域，Hadoop是一款流行的分布式计算框架。然而，随着我们环境的不断更新，可能会遇到“卸载Hadoop src”相关的问题。在接下来的内容中，我们将详细介绍如何有效处理这一问题，并将整个过程以博文的形式进行记录。
## 环境准备
首先，我们需要确保环境的稳定性以及Hadoop的顺利卸载。以下是所需的依赖安装指南，适用于不同操作系统的用户。
### 依赖安装指南
- **Lin
首先: 参考 ://blog..net/zhang1234556/article/details/77621487 搭建好hadoop集群。 然后，在master节点安装pig。 我们用MapReduce进行数据分析。当业务比较复杂的时候，使用MapReduce将会是一个很复杂的
转载
2018-01-28 21:18:00
318阅读
2评论
一、 相关概念 Hive Metastore有三种配置方式，分别是： Embedded Metastore Database (Derby) 内嵌模式Local Metastore Server 本地元存储Remote Metastore Server 远程元存储1.1 Metadata、Metas
转载
2017-09-17 20:25:00
310阅读
2评论
IntelliJ IDEA 支持多种构建工具，这些工具帮助自动化项目构建、依赖管理、编译、测试和部署过程。以下是几种常见的构建工具及其在 IntelliJ IDEA 中的集成和支持：1. Maven简介: Maven 是一个非常流行的Java项目管理工具，它使用POM（Project Object Model，项目对象模型）来描述项目结构、依赖关系、构建过程等。IntelliJ IDEA集成: I
# 实现“bde2020/hadoop-datanode:2.0.0-hadoop2.7.4-java8”镜像的步骤
## 1. 确认环境
在开始之前，确保你已经具备以下环境：
- Docker已经安装并配置好
- 有基本的Docker知识
## 2. 拉取镜像
首先我们需要拉取hadoop-datanode镜像，版本为2.0.0-hadoop2.7.4-java8，使用以下命令：
```ma
原创
2023-09-09 14:24:35
351阅读
一、概述本次实验采用VMware虚拟机，linux版本为CentOS7；因为实验所需的5台机器配置大多相同，所以采用配置其中一台，然后使用克隆功能复制另外4份再做具体修改；其中有些步骤以前配置过，此处就说明一下不再做具体配置，具体配置可翻阅以前的博文。二、实验环境1.关闭selinux和firewall2.hadoop-2.7.4.tar.gz；zookeeper-3.4.10.tar.gz；jd
原创
2017-08-30 11:31:53
3134阅读
点赞
1.环境Apache Maven 3.1.1 (0728685237757ffbf44136acec0402957f723d9a; 2013-09-17 23:22:22+0800)Maven home: /opt/mavenJava version: 1.7.0_45, vendor: Oracle CorporationJava home: /usr/java/jdk1.7.0_45/jreD
原创
2022-10-28 05:06:56
47阅读
# 系统信息3台 系统： centos6.8 内核：4 内存：4G 硬盘：50G# 主机名称，ip地址master: 10.200.201.110slave1: 10.200.201.111slave2: 10.200.201.112######################## 基础初始配置 ################
原创
精选
2017-12-04 16:46:14
10000+阅读
点赞
7评论
hadoop 提供了两种方式对hdfs 进行访问：1 配置客户端，后台连接到客户端进行工作客户端的配置比较简单，只要把配置好的hadoop的namenode节点的hadoop 打包，发到另一台机器（该机器不出现在 etc/hadoop/slaves里就可以）设置一下环境变量 JAVA_HOME HADOOP_HOME 还有一些在hadoop xml配置的临时文件目录等 也改一下（启动时查看日志，根
转载
2023-07-21 16:57:04
54阅读
java开源项目，apache通常会给一个src版本和一个binary版本，这两者的区别：SRC版本包含源码，主要给高级开发人员准备，可以去修改其中的源码改变或扩展功能。BIN版本主要是一般开发人员或使用者准备，只需要使用其固化功能即可。...
原创
2021-07-09 17:25:48
689阅读
# Hadoop安装缺少src怎么办？
Hadoop 是一个广泛应用的分布式计算框架，主要用于处理大规模数据集。在安装 Hadoop 时，有时我们会遇到缺少 src（source code）的问题。src 是指源代码，它对于大部分开发者来说是一个重要的组成部分，尤其是在进行自定义开发或者进行深度调试时。本文将介绍如何解决 Hadoop 安装缺少 src 的问题。
## 一、理解 Hadoop
安装了 hadoop 单机版，想利用自身携带的案例jar测试wordcount，却一直报错：[root@server sbin]# hadoop
原创
2022-08-12 11:04:11
667阅读
求$yz$面上二次曲线\begin{equation} \begin{cases} \frac{y^2}{a^2}=2z\\x=0\\ \end{cases}\end{equation}绕$z$轴旋转所得的二次曲面的方程.解：对于二次曲面上的任意点$p=(x,y,z)$.都存在相应的二次曲面上的...
转载
2012-08-12 23:11:00
50阅读
2评论
# Hadoop 分布式文件系统（HDFS）的格式化
## 简介
在使用 Hadoop 分布式文件系统（HDFS）之前，我们需要对 NameNode 进行格式化。根据 Hadoop 的官方文档，格式化 NameNode 是一个条件性的操作，只有在首次启动一个全新的文件系统或者更换了新的硬盘时才需要进行格式化。
本文将向您介绍如何使用命令行格式化 NameNode，并演示如何通过命令行获取格式化
原创
2023-08-18 04:12:05
111阅读
