一、主机环境:redhat企业版5.4 i386 配置好本地yum 需要下载的包:phpMyAdmin-2.11.10.1-all-languages.zip php-mcrypt-5.1.6-5.el5.i386.rpm libmcrypt-2.5.7-5.el5.i386.rpm 二、安装命令如下: #yum install php php-mysql php-mbstring
原创 2012-03-18 19:25:59
650阅读
前言因为平时工作和日常接触到的大都是的中型项目,所以少有个性化推荐等涉及大数据的功能。但是后期应该也会在自己项目中添加信息推荐模块,所以就开始关注spark,hadoop,Thrift等工具,以下就以hadoop先开始,包括环境搭建和配置过程中踩坑过程。关于hadoop环境搭建,网上也有各种各样的教程。那来直接按着他们的方法来,前期当前问题不大,但是呢,可能在安装过程中由于每个工具的版本不一致。
原创 1月前
40阅读
LAMP是服务器系统中开源软件的一个十分普遍的组合。LAMP分别代表Linux + Apache + Mysql + Php | Python | Perl。就系统工程师来说,除了会部署LAMP环境,还应该熟练的掌握对环境的操作调优。本文仅用于新手安装参考!注意:自从Mysql被Oracle收购之后,很多时候使用MarriDB来代替Mysql!环境介绍:   &nbs
原创 2015-01-05 23:57:10
1615阅读
[新技术新方向]Windowstml  
原创 2023-07-21 19:22:21
48阅读
eclipse工具hadoop环境搭建:    window10操作系统中搭建eclipse64开发系统,配置hadoop的eclipse插件,让eclipse可以查看Hdfs中的文件内容。    1、将hadoop-eclipse-plugin-2.5.2.jar文件移动到eclipse的plugins文件夹中。    2、重启eclipse工具。打开eclipse工具以后,找到如下位置,打开
转载 2018-04-06 10:39:00
61阅读
1.前序  学习大数据,高配置的电脑是必不可少的,因为要安装很多的软件,尤其是虚拟机是比较耗性能,可能会出现卡顿的情况,非常影响程序编写。但是,低配置(windows系统,无需安装虚拟机)也是可以搭建简单的单机模式的hadoop,可以达到初步了解hadoop操作与开发的功能。在windows系统,关于hadoop安装与配置,以及简单的shell操作可以参考.......本文主要是在window
搭建前的准备:1》安装ant-->配置ant环境变量和java的环境变量2》配置jdk环境变量---》这里的jdk版本要求和build.xml 编译的版本一致否则不通过正式搭建:1.使用eclipse创建java project-->bigdata (这里也需要配置一eclipse中运行的ant路径 由于该路径下有eclipse默认的ant没有的jar包---jscn-0.1.15.
转载 9月前
37阅读
本文是自己以前搭建的一个环境,测试没啥问题。欢迎新手观看,我也是新手哈。
原创 2011-09-09 09:40:23
393阅读
  在前面我们已经实现了lamp架构的创建,今天就让我们来看一看lnmp架构是如何实现的。计划的实验步骤如下: 1. 数据库mysql的安装 2. Nginx的安装,libevent(编译库代码)的安装,pcre的安装 3. Php的安装 4. 测试 1. Mysql 的安装 //注意:小编这次用的mysql是经过编译好的压缩包,解压之后就能使用了,如果解压后的目录名过长,
原创 2013-04-26 12:07:19
482阅读
1点赞
官方说明Sentry是一种用于在Hadoop集群中控制和管理访问权限的工具。因此,CDH的Sentry指的是Cloudera Distribution for Hadoop中集成的Sentry组件,用于管理Hadoop集群中的访问控制和权限管理。作用Sentry是一个用于管理Hadoop集群中的访问权限的工具,其使用入门流程步骤如下:安装Sentry:安装Sentry并将其配置为Hadoop集群的
Hadoop基础环境搭建(转载尚硅谷)说明个人学习记录基于虚拟机搭建,需要提前准备虚拟机环境搭建版本:hadoop-3.1.3搭建HDFS和yarn提前准备Hadoop安装包:hadoop-3.1.3.tar.gzHadoop下载地址:https://archive.apache.org/dist/hadoop/common/hadoop-3.1.3/ 提前准备JDK安装包:jdk-8u212-l
转载 2023-07-20 18:35:45
53阅读
笔者鼓弄了两个星期,终于把所有有关hadoop环境配置好了,一是虚拟机上的完全分布式集群,但是为了平时写代码的方便,则在windows上也配置了hadoop的伪分布式集群,同时在IDEA上就可以编写代码,同时在windows环境进行运行。(如果不配置windows的伪分布式集群,则在IDEA上编写的代码无法在windows平台下运行)。笔者在网络上找了很多有关windows使用idea搭建
转载 2021-04-29 14:11:29
1661阅读
2评论
 Mac配置Hadoop最详细过程原文作者: 曲高终和寡  一.准备工作:1.  JDK1.7版本及以上(貌似Hadoop只支持1.6以上的版本,不确定,保险起见用1.7,我自己用的是1.8)2.  2.7.3版本的Hadoop https://archive.apache.org/dist/hadoop/common/hadoop-2.
实验条件:3台centos服务器,jdk版本1.8.0,Hadoop 版本2.8.0注:hadoop安装和搭建过程中都是在用户lb的home目录下,master的主机名为host98,slave的主机名分别是host99和host101。1. ssh远程连接服务器  ssh [username]@hostname2. 创建新用户并创建用户的home主目录  useradd -d /hom
文章目录一、下载安装所需的资源二、配置1、将下载的hadoop文件解压2、配置环境变量在path中加入 %HADOOP_HOME%\bin3、文件配置3.1、D:\hadoop\hadoop-3.0.2\etc\hadoop的core-site.xml文件3.2、D:\hadoop\hadoop-3.0.2\etc\hadoop”目录下的mapred-site.xml3.3、D:\hadoo
转载 2023-07-24 15:53:41
152阅读
文章目录前言一、虚拟机安装二、安装JDK和Hadoop1.基本信息配置2.安装JDK和Hadoop三、安装Zookeeper集群四、Hadoop集群的高可用配置五、Hadoop集群的正常启动顺序总结 前言Hadoop开发环境搭建为了防止以后每次搭建的时候查看太多教程而导致时间无端消耗,本次重装环境自行进行过程记录。一、虚拟机安装基于VMware平台安装centos8,主要就是下载镜像安装打开就行
转载 2023-07-11 13:06:23
113阅读
文章目录1.事前准备2.主机互联(namenode和datanode都做)2.1 创建虚拟机2.2 配置网络2.2.1寻找空闲IP地址2.2.2配置ifcfg-eno167777362.2.3 pc端ssh登录linux2.3 实现相互免密登录(namenode和datanode都做)2.3.1修改主机名及主机配置文件2.3.1生成公钥实现免密登录3.配置java jdk(namenode和da
热爱Linux,热爱开源。 Linux菜鸟期待各位大虾指点迷津。
原创 2011-10-10 17:45:50
1217阅读
1点赞
1评论
仅是个人学习记录,内容来源尚硅谷大学 1、Hadoop是什么 Hadoop是一个由Apache基金会所开发的分布式系统基础框架。主要解决,海量数据的存储和海量数据的分析计算问题。广义上来说,Hadoop通常是指一个更广泛的概念——Hadoop生态圈。 2、Hadoop优势 高可靠性:Hadoop底层 ...
转载 2021-09-10 19:28:00
242阅读
2评论
最近在网上学习了Hadoop,顺便记录了下笔记,笔记内容来源于某谷,主要是方便直接粘贴使用(莫谷貌似没在线的文
原创 4月前
14阅读
  • 1
  • 2
  • 3
  • 4
  • 5