提到列式(Column Family)数据库,就不得不提Google的BigTable,其开源版本就是我们熟知的HBASE。BigTable建立在谷歌的另两个系统GFS和Chubby之上,这三个系统和分布式计算编程模型MapReduce共同构成Google云计算的基础,Chubby解决主从自动切换的基础。接下来通过一个表格对比来引入Hadoop。Google云计算Hadoop中的对应分布式文件系统
原创 2017-05-23 13:40:27
606阅读
目的这篇文档的目的是帮助你快速完成单机上的Hadoop安装与使用以便你对​​Hadoop分布式文件系统(HDFS)​​和Map-Reduce框架有所体会,比如在HDFS上运行示例程序或简单作业等。先决条件支持平台 GNU/Linux是产品开发和运行的平台。 Hadoop已在有2000个节点的GNU/Linux主机组成的集群系统上得到验证。Win32平台是作为开发平台支持的。由于分布式操作尚未在Wi
转载 2016-02-19 19:50:00
110阅读
2评论
目的这篇文档的目的是帮助你快速完成单机上的Hadoop安装与使用以便你对​​Hadoop分布式文件系统(HDFS)​​和Map-Reduce框架有所体会,比如在HDFS上运行示例程序或简单作业等。先决条件支持平台 GNU/Linux是产品开发和运行的平台。 Hadoop已在有2000个节点的GNU/Linux主机组成的集群系统上得到验证。 Win32平台是作为开发平台支持的。由于分布式操作尚未在W
转载 2011-01-22 18:33:00
94阅读
2评论
任务目的重点掌握Hadoop的核心组件 了解Hadoop的发展历史及其生态体系 熟记Hadoop的主要特性任务清单任务1义业务逻辑,对海量数据进行分布式处理;  “处理”什么问题?  海量数据的存储和海量数据的分析计算问题。也就是
转载 2022-08-02 14:37:02
187阅读
Hadoop快速入门(一)######几个概念: #####大数据:无法在一定时间内用常规软件工具对其内容进行撞去、管理和处理的数据集合。 #####大数据技术:从各种各样类型的数据中,快速获得由价值信息的能力。 #####配套技术:大规模并行处理数据库(MPP),数据挖掘,分布式文件系统,分布式数据库,云计算平台,互联网和可扩展的存储系统。 Hadoop:以HDFS和mapreduce为核心。
原创 2022-11-03 10:24:24
73阅读
第 4 章 快速入门4.1 10 分钟入门MyCAT 是使用 JAVA 语言进行编写开发,使用前需要先安装 JAVA 运行环境(JRE),由于 MyCAT 中使用了JDK7 中的一些特性,所以要求必须在 JDK7 以上的版本上运行
原创 2022-01-23 10:28:52
321阅读
2 快速入门2.1 RabbitMQ的工作原理下图是RabbitMQ的基本结构:组成部分说明如下:Broker:消息队列服务进程,此进程包括两个部分:Exchange和Queue。Exchange:消息队列交换机,按一定的规则将消息路由转发到某个队列
原创 2022-03-04 14:50:14
235阅读
6.Thymeleaf快速入门 SpringBoot并不推荐使用jsp,但是支持一些模板引擎技术: 以前大家用的比较多的是Freemarker,但是我们今天的主角是Thymeleaf! 6
原创 2022-03-04 15:52:38
218阅读
6.Thymeleaf快速入门SpringBoot并不推荐使用jsp,但是支持一些模板引擎技术:以前大家用的比较多的是Freemarker,但是我们今天的主角是Thymeleaf!6.1.为什么是Thymeleaf?简单说, Thymeleaf 是一个跟 Velocity、FreeMarker 类似的模板引擎,它可以完全替代 JSP 。相较与其他的模板引擎,它有如下三个极吸引人的特点:...
原创 2021-08-18 10:39:07
283阅读
第 4 章 快速入门4.1 10 分钟入门MyCAT 是使用 JAVA 语言进行编写开发,使用前需要先安装 JAVA 运行环境(JRE),由于 MyCAT 中使用了JDK7 中的一些特性,所以要求必须在 JDK7 以上的版本上运行。4.1.1 环境准备JDK 下 载http://www.oracle.com/technetwork/java/javase/downloads/jdk7-downloads-1880260.html注:必须 JDK7 或更高版本.MySQL 下载http://
原创 2021-08-18 01:35:32
383阅读
第2章 快速入门2.1 Flume安装地址Flume官网地址http://flume.apache.org/文档查看地址http://flume.apache.org/FlumeUserGuide.html下载地址http://archive.apache.org/dist/flume/2.2 安装部署将apache-flume-1.7.0-bin.tar.gz上传到lin...
原创 2021-08-18 02:40:58
369阅读
2 快速入门2.1 RabbitMQ的工作原理下图是RabbitMQ的基本结构:组成部分说明如下:Broker:消息队列服务进程,此进程包括两个部分:Exchange和Queue。Exchange:消息队列交换机,按一定的规则将消息路由转发到某个队列,对消息进行过虑。Queue:消息队列,存储消息的队列,消息到达队列并转发给指定的消费方。Producer:消息生产者,即生产方客户...
原创 2021-08-18 10:59:32
382阅读
JAVA解析Excel工具EasyExcelJava解析、生成Excel比较有名的框架有Apache poi、jxl。但他们都存在一个严重的问题就是非常的耗内存,poi有一套SAX模式的API可以一定程度的解决一些内存溢出的问题,但POI还是有一些缺陷,比如07版Excel解压缩以及解压后存储都是在内存中完成的,
原创 2022-02-15 14:22:32
293阅读
Scala快速入门Scala开发工具IDEA介绍:IDEA 全称IntelliJ IDEA,是用于java语言开发的集成环境(也可用于其他语言),IntelliJ在业界被公认为最好的java开发工具之一。IDEA是JetBrains公司的产品,这家公司总部位于捷克共和国的首都布拉格。java开发工具很多,比如netbean,eclipse等等,单开发Scala可选的工具不多,主要使用I...
原创 2022-03-04 10:04:08
463阅读
第2章 快速入门2.1 Flume安装地址Flume官网地址http://flume.apache.org/文档查看地址http://flume.apache.org/FlumeUserGuide.html下载地址http://archive.apache.org/dist/flume/2.2 安装部署将apache-flume-1.7.0-bin.tar.gz上传到lin...
原创 2022-03-04 10:14:58
137阅读
JAVA解析Excel工具EasyExcelJava解析、生成Excel比较有名的框架有Apache poi、jxl。但他们都存在一个严重的问题就是非常的耗内存,poi有一套SAX模式的API可以一定程度的解决一些内存溢出的问题,但POI还是有一些缺陷,比如07版Excel解压缩以及解压后存储都是在内存中完成的,内存消耗依然很大。easyexcel重写了poi对07版Excel的解析,能够原本一个3M的excel用POI sax依然需要100M左右内存降低到几M,并且再大的excel不会出现内存溢出,03
原创 2021-08-18 09:57:03
305阅读
Scala快速入门Scala开发工具IDEA介绍:IDEA 全称IntelliJ IDEA,是用于java语言开发的集成环境(也可用于其他语言),IntelliJ在业界被公认为最好的java开发工具之一。IDEA是JetBrains公司的产品,这家公司总部位于捷克共和国的首都布拉格。java开发工具很多,比如netbean,eclipse等等,单开发Scala可选的工具不多,主要使用I...
原创 2021-08-18 10:04:19
275阅读
Hadoop之HBase快速入门cheungmine2012-4-20本文解决单机(standlone)运行HBase的故障问题。读者可以快速领略HBase的基本Shell命令。第一步 准备软件机器环境:Ubuntu11.10+JDK1.6下载软件:hbase-0.92.1.tar.gz我的用户名为:cl我的机器名为:thinkpad-zh解压缩hbase:$ tar xzf /home/cl/D
原创 2023-01-11 01:28:52
99阅读
一、了解java1.java是一种面向对象的编程语言 是适用范围最广的编程语言之一 java具有移植性强的特点 可以在多个端口运行 这也是他使用较为广泛的原因之一2.java版本类型jdk有三个版本类型javaee 定位于服务端的应用javase 定位于个人计算机的应用javame 定位于消费性产品的应用3.java运行机制java语言是编译型和解释型两种类型的结合编辑器编写源文件---
转载 2023-07-18 23:28:56
47阅读
第3章 快速入门需求:实现按照维度(工作地点)统计员工信息3.1 数据准备在Hive中创建数据,分别创建部门和员工外部表,并向表中导入数据。(1)原始数据(2)建表语句创建部门表create external table if not exists default.dept( deptno int, dname string, loc int)row format deli...
原创 2022-03-03 16:27:11
65阅读
  • 1
  • 2
  • 3
  • 4
  • 5