一．前言本教程旨在在Linux系统中安装7节点Hadoop-2.7.1分布式集群。在安装之前，你需要确保已经下载如下安装软件包：1：Linux 操作系统 –Red hat6.4 64bit（命令cat /etc/issue查看系统信息）
2：jdk-7u79-linux-x64.gz
3：hadoop-2.7.1.tar.gz 二．安装环境
1. 安装JD
转载
2023-08-27 10:27:25
264阅读
这里搭建的是3个节点的完全分布式，即1个nameNode，2个dataNode，分别如下：CentOS-master nameNode 192.168.11.128CentOS-node1 dataNode 192.168.11.131CentOS-node2 da
转载
2023-08-21 13:49:46
49阅读
前言之前已经完成了虚拟机的安装，jdk安装，ssh免密码登录的前期准备。现在开始hadoop的安装。1. 从Apache官网下载hadoop由于后来要安装最新的spark，spark最新版本是基于hadoop2.7.x版本的：所以下载最新版的hadoop2.7.6进行安装，以备之后的hive、spark等框架之需。将下载的二进制(binary)hadoop2.7.6的tar.gz压缩包用winSC
转载
2023-12-04 17:35:41
0阅读
1. 主机规划主机名称外网IP内网IP操作系统备注安装软件mini0110.0.0.11172.16.1.11CentOS 7.4ssh port:22Hadoop 【NameNode SecondaryNameNode】mini0210.0.0.12172.16.1.12CentOS 7.4ssh port:22Hadoop 【ResourceManager】mini03
转载
2024-07-30 15:11:14
46阅读
一、hadoop的发展二、hadoop框架Hadoop Common：基础型功能Hadoop Distributed File System (HDFS™)：一种分布式文件系统，可提供对应用程序数据的高吞吐量访问。负责存放数据Hadoop YARN：作业调度和集群资源管理的框架。负责资源的调配Hadoop MapReduce：基于 YARN 的系统，用于并行处理大型数据集。大数据的计算框架Hado
转载
2023-07-07 10:10:40
82阅读
准备环境 CentOS 7jdk1.8 (这里建议使用1.8版本的jdk 链接:https://www.oracle.com/technetwork/java/javase/downloads/jdk8-downloads-2133151.html) hadoop-2.7.6.tar.gz （ 链接：http://mirrors.hust.edu.cn/apache/hadoo
转载
2023-07-08 13:03:47
158阅读
环境采用centos6.5最小化安装,hadoop下载的hadoop2.7.6.tar.gz安装，Java下载的oracle官网的1.8.0_172的包安装。参考了别人的文档，遇到了不同的问题。1.3台centos6.5vmware192.168.17.205Master192.168.17.206hadoop1192.168.17.207hadoop2为三台主机添加同一用户，设置密码：添加用户u
原创
2018-04-23 13:37:50
4542阅读
点赞
一 完全分布式集群搭建 Hadoop官方地址：http://hadoop.apache.org/ 1 准备3台客户机 1.
转载
2020-06-11 09:55:00
120阅读
2评论
http://www.powerxing.com/install-hadoop/
原创
2018-08-03 14:57:32
1675阅读
如果你在使用Python 2.7，应该考虑将编写的脚本迁移到Python 3.x。Python 2.7在进入2020年后将不再得到维护。起初，官方并没有给出具体的日期表明何时停用Python 2.7。最近，停用日期已更新为2020年1月1日。Python 2，谢谢你这么多年来提供的忠诚服务。Python 3，现在该你上场了。大问题：Python 3并不向后兼容。这通常是一件好事。Python 3纠
转载
2023-07-05 00:50:38
50阅读
最近听了一个关于大数据的大牛的经验分享，在分享的最后大牛给我们一个他之前写好的关于大数据和地理应用demo。这个demo需要在Linux环境上搭建Hadoop平台。这次就简单的分享一下我关于在 Linux虚拟机上搭建Hadoop平台的一些经验和遇到的一些问题以及问题的解决办法。首先我们这次搭建的环境是hadoop。hadoop实现了分布式文件系统，它可以部署在一些廉价的硬件环境上，并且提供了高
转载
2015-10-15 16:41:00
94阅读
在Linux操作系统中，Python是一种非常常用的编程语言，而在Python的各种版本中，Python 2.7.6也是备受关注的一个版本。在这个版本中，有一个有趣的库，就是被称为“红帽”的库。
红帽（Red Hat）是一家总部位于美国的软件公司，专注于开发和服务企业级开源软件产品。红帽公司以其操作系统Red Hat Enterprise Linux（RHEL）而闻名，该操作系统被广泛应用于企业
原创
2024-05-06 11:18:11
15阅读
一、检查看依赖环境是否安装gcc–vgcc是最基本的开发库，gcc–v查询gcc的版本，如果有以下信息证明了gcc已安装，如果出现“commandnotfound”证明没有安装，需要通过yum去安装，命令如下：yumgroupinstall"DevelopmentTools"yuminstallzlibyuminstallzlib-devel安装所有的开发工具，安装后，再用gc
原创
2018-07-10 12:46:33
1563阅读
为何写脚本每次用新的机器，都要把python的环境给安装一遍~so，这是一件很操蛋的问题，就shell练手写了一个code,嘿嘿，渣渣技术~测试环境我爱vagrant,一条命令直接还原成干净的测试环境，大爱啊~脚本如下：#!/bin/bash
# Auther: zhuima
# Date: 2014-06-26
# Fun
原创
精选
2014-06-27 16:09:58
2263阅读
点赞
项目中没有添加antlr-2.7.6.jar,hibernate不会执行hql语句 并且会报NoClassDefFoundError: antlr/ANTLRException错误
转载
2016-04-06 08:39:00
108阅读
操作系统：vm centos6.5 641.当前的python版本为2.6.6python -V
Python 2.6.62.下载python2.7.6wget http://www.python.org/ftp/python/2.7.6/Python-2.7.6.tgz3.解压pythontar -jxvf Python-2.7.6.t
原创
2014-08-04 14:46:22
1597阅读
CentOS下面Python在升级到2.7.6的时候，没有找到安装包直接安装，只能通过源代码编译的方式来安装Python 2.7.6版本。这篇是编译和安装Python2.7.6的过程记录。CentOS系统中安装了development tools。要编译安装Python，执行下面代码：code12345678910$ pushd /usr/local/src$ sudo mkd
转载
精选
2016-08-26 10:33:52
808阅读
作者：朱金灿：http://blog..net/clever101 1. 下载libxml2-2.7.6源码，地址为：ftp://ftp.xmlsoft.org/libxml2/libxml2-2.7.2.tar.gz 2. 解压源码文件后在根目录下可以找到win32的文件夹，...
转载
2012-09-04 09:00:00
63阅读
2评论
cd /data/toolswget http://www.python.org/ftp/python/2.7.6/Python-2.7.6.tgz# tar xvzf
Python-2.7.6.tgz# cd
Python-2.7.6# ./configure
--prefix=/usr/local --enable-shared# make && make
i
原创
2015-11-30 14:18:28
683阅读
作者：朱金灿来源：://blog..net/clever101 1. 下载libxml2-2.7.6源码，地址为：ftp://ftp.xmlsoft.org/libxml2/libxml2-2.7.2.tar.gz 2. 解压源码文件后在根目录下可以找到win32的文件夹，打开它可以看到下面有一个configure.js的文件，双击运行它可以生成一个config.msvc的
原创
2021-12-15 15:08:12
370阅读
