因为工作需要需要做一些与大数据开发有关的工作,加之网上的知识过于分散,经常往图书馆跑。看了很多与数据相关的书籍,认为以下基本比较不,错推荐给大家。因为本人接触大数据不足一年,肯定会有一些错误的观念,有错误的地方欢迎在文章下方的评论中评论。1、《解惑大数据 》人民邮电出版社, 2013,丁圣勇,樊勇兵,闵世武编著。此书综合讲解有关大数据的相关术语和概念,看此书的技术要求较低,非常适合想学习
笔记本电脑原来的系统是windows 7系统。想在此基础上安装一个ubuntu系统,但是安装了一半突然没电停止了,再次开机发现windows系统也无法引导了,尝试重新安装Ubuntu系统,安装完成依然没有windows系统的引导信息。开始尝试各种解决方法:1、在linux 的grub中添加win的引导信息,重启选择win的菜单,有引导但是无法进入系统一个光标在屏幕左上角闪。失败!2、使用winpe
因为开发环境需要迁移,将原来HBase中的表使用 org.apache.hadoop.hbase.mapreduce.Export 工具序列化到hdfs后下载出来,在新的开发环境中导入。导入时遇到了两个问题。问题一:导入失败提示User hbase cannot submit applications to queue root.hbase解决方法:登录到yarn集群管理节点Resource Ma
本文从Hadoop是什么、能做什么、谁使用三个主要问题去讲解。对于重点知识如MapReduce、YARN、Hadoop生态系统内的其他组件(HBase、Pig、Hive、Zookeeper等)的介绍和使用这里不做详细说明,需要大家对这些内容扩展并深入学习。1、Hadoop是什么及功能1、2002年,Hadoop作为一个支持Web搜索引擎的单独软件项目被创立,如今已成为一个用来分析大量不同类型数据的
研发环境下搭建了一套基于CDH5的大数据平台。在重启服务器后发现HBase组件启动异常,如图HBase Master 运行状况不良 RegionServer运行状况不良 所有的RegionServer角色全部停止,启动时报错。查看角色日志Master rejected startup because clock is out o
本文主要内容摘记自电子工业出版社出版的《写给大忙人的Hadoop2》,Douglas Eadline著,卢涛 李颖译。如想深入了解相关内容,请购买正版书籍阅读。一、大数据的定义大数据不只是数据量大的意思,根据维基百科(http://en.wikipedia.org/wiki/Big_data),大数据的定义有以下几个特点。1、数据量(Volume):大的数据量明确界定了大叔与。在某些情况下,数据的
本文是针对大数据开发环境来写的,配置比较简单。zookeeper的介绍、工作原理、特点自行查阅某度百科,说的非常明白。再次需要强调一下,zookeeper集群中的机器节点数是2n-1(奇数)的。准备工作:下载 zookeeper-3.4.6.tar.gzhttp://mirror.bit.edu.cn/apache/zookeeper/zookeeper-3.4.6/zookeeper-3.4.6
声明:本文面向有linux基础的大数据初学者,因好多配置都可以单独出一篇文章,如写的过于详细篇幅较大对阅读和操作会带来负面影响,如遇到问题可以自行百度或加文章末尾留的QQ群探讨。整体流程如图:准备工作:下载hadoop-2.6.0.tar.gz http://mirror.bit.edu.cn/apache/hadoop/common/hadoop-2.6.0/ 下载jdk-7u55-
Copyright © 2005-2024 51CTO.COM 版权所有 京ICP证060544号