gl_windhome的博客_python,Hive,Spark,Hbase,深度学习,Hadoop,Strom,机器学习,Python,Spark

海量日志收集利器 —— Flume

Flume 是什么？Flume是一个分布式、可靠、和高可用的海量日志聚合的系统，支持在系统中定制各类数据发送方，用于收集数据；同时，Flume提供对数据进行简单处理，并写到各种数据接受方（可定制）的能力。Flume 特点1、可靠性当节点出现故障时，日志能够被传送到其他节点上而不会丢失。Flume提供了三种级别的可靠性保障，从强到弱依次分别为：end-to-end（收到数据agent首先将event

Flume

转载精选 2016-04-29 20:58:07 2094 阅读 1收藏

sqoop的使用

sqoop的使用----sqoop是一个用来在hadoop体系和关系型数据库之间进行数据互导的工具----实质就是将导入导出命令转换成mapreduce程序来实现sqoop安装：安装在一台节点上就可以了。1.上传sqoop2.安装和配置----修改配置文件 sqoop-env.sh#Set path to where bin/hadoop is availableexport HADO

sqoop

转载精选 2016-04-27 22:58:22 1141 阅读

sqoop学习

Sqoop 是传统数据库与 Hadoop 之间数据同步的工具，它是 Hadoop 发展到一定程度的必然产物，它主要解决的是传统数据库和Hadoop之间数据的迁移问题。这节课我们将详细介绍 Sqoop 这个工具。Sqoop 产生背景 Sqoop 的产生主要源于以下几种需求：

sqoop

转载精选 2016-04-27 21:52:15 1685 阅读

004-storm集群搭建

Storm集群规划主节点： 192.168.20.33从节点： 192.168.20.35 192.168.20.36 192.168.20.37ZK节点： 192.168.20.35 192.168.20.36 192.168.20.37注意： ZK节点上所有的ZooKeeper要

storm集群搭建

转载精选 2016-04-26 15:54:31 860 阅读 2收藏

003-storm设计思想和处理过程

1、Storm设计思想 Storm是对流Stream的抽象，流是一个不间断的无界的连续tuple，注意Storm在建模事件流时，把流中的事件抽象为tuple即元组。 Storm将流中元素抽象为Tuple，一个tuple就是一个值列表value list，list中的每个value都有一个name，并且

storm设计思想和处理过程

转载精选 2016-04-26 13:43:42 867 阅读

002-storm基本概念

1、Storm集群1.1 Storm集群和Hadoop集群对比在Hadoop集群上运行MapReduce jobs，在Storm集群上运行topologies。 jobs和topologies有很大的不同。一个关键的区别是，一个MapReduce jobs最终可完成，然后a topology处理过程永远执行（除非kill it）1.2 在Storm集群中有两类节点：master节点和多个worke

storm基本概念

转载精选 2016-04-26 13:40:26 612 阅读

001-storm简介

1、STORM简介 Storm是Twitter开源的一个类似于Hadoop的实时数据处理框架Storm能实现高频数据和大规模数据的实时处理官网资料显示storm的一个节点在1秒钟能够处理100万个100字节的消息(IntelE5645@2.4Ghz的CPU,24GB的内存)以下是官网的解释：apache storm 是一个免费，开源分布式实时计算系统。storm使得处理无边界的数据流变得

storm简介

转载精选 2016-04-25 16:14:20 961 阅读

hadoop读写mysql数据库

hadoop技术推出一度曾遭到关系研究者的挑衅和批评，认为MapReduce不具有关系中的结构化数据存储和处理能力。为此，hadoop社区和研究人员做了多的努力，在hadoop0.19版支持MapReduce访问关系，如：MySQL、Mongodb、PostgreSQL、Oracle 等几个系统。Hadoop 访问关系主要通过DBInputFormat类

hadoop读写mysql数据库

转载精选 2016-04-21 12:55:37 3800 阅读 1收藏

深入研究java.lang.Runtime类

一、概述 Runtime类封装了运行时的环境。每个 Java 应用程序都有一个 Runtime 类实例，使应用程序能够与其运行的环境相连接。一般不能实例化一个Runtime对象，应用程序也不能创建自己的 Runtime 类实例，但可以通过 getRuntime 方法获取当前Ru

Runtime

转载精选 2016-04-13 11:14:12 462 阅读

String,StringBuffer与StringBuilder的区别

String 字符串常量StringBuffer 字符串变量（线程安全）StringBuilder 字符串变量（非线程安全）简要的说， String 类型和 StringBuffer 类型的主要性能区别其实在于 String 是不可变的对象, 因此在每次对 String 类型进行改变的时候其实都等同于生成了一个新的 String 对象，然后将指针指向新的 String 对象，所以经常改

StringBuffer

转载精选 2016-04-13 10:49:02 336 阅读

Storm记录--12- Storm Transaction 原理+实战

Storm guarantees data processing by providing an at least once processing guarantee. The most common question asked

storm

转载精选 2016-04-08 10:12:31 614 阅读

Storm记录--11- Storm DRPC实战

DRPC ,Distributed Remote Procedure Call RPC本身是个成熟和古老的概念, Storm里面引入DRPC主要是利用storm的实时计算能力来并行化CPU intensive的计算DRPC, 只是storm应用的一个场景,&n

storm

转载精选 2016-04-08 10:10:26 1101 阅读

Storm记录--10- Storm消息机制

这章讨论Storm's reliability capabilities, 如何保证从spout emit出来的所有tuple都被正确的执行(fully processed)?What does it mean for a message to be "ful

storm

转载精选 2016-04-08 10:06:43 1229 阅读

Storm记录09- Storm Topology的并发度

Storm Topology的并发度Understanding the parallelism of a Storm topologyhttps://github.com/nathanmarz/storm/wiki/Understanding-the-parallelism-of-a-Storm-topology概念一个Topology可以包含一个或多个worker(并行的跑在不同的machine

storm

转载精选 2016-04-08 10:04:54 456 阅读

Storm记录08--Storm基本API

Streams, 流流作为storm的核心概念, 定义为无限的tuple序列. 什么是tuple? 命名的value序列, 可以理解成Key/value序列, 每个value可以是任何类型, 动态类型不需要事先声明. &nb

storm

转载精选 2016-04-08 10:02:33 616 阅读

Storm记录07--Maven安装使用

Maven安装使用环境准备：JDK1.6Maven 3.0.4mveclipse8.6.1 （集成mveclipse）安装Maven之前要求先确定JDK已经安装配置完成，Maven是Apache下的一个项目。官网下载Mavenhttp://www.apache.org/dyn/closer.cgi/maven/binaries/apache-maven-3.0.4-bin.tar.gz下载完成后解

storm

转载精选 2016-04-08 10:00:21 774 阅读

Storm记录06--Storm的HelloWorld

Storm学习的HelloWorld1、下载Storm-start(https://github.com/nathanmarz/storm-starter/archive/master.zip)2、进入下载目录，对zip文件解压3、进入解压后的文件目录，修改m2-pom.xml（将twitter4j-core和twitter4j-stream替换为下面的部分） <dependenc

storm

转载精选 2016-04-08 09:59:03 501 阅读

Storm记录005--Storm集群安装

以下是依次需要完成的安装步骤一、安装JDK1.6二、安装Zookeeper三、安装zeromq-2.1.7四、安装jzmq五、安装Python-2.7.2六、安装unzip七、安装Storm一、下载并安装JDK1.6 并设置环境变量，如：export JAVA_HOME=/opt/java6export PATH=$PATH:$JAVA_HOME/bin运行java、javac命令，测试java正

storm

转载精选 2016-04-08 09:49:40 571 阅读

Storm记录04-- Storm适用场景

Storm适用场景流聚合：流聚合就是把两个或多个数据流聚合成一个数据流 -- 基于一些共同的tuple字段。builder.setBolt(5,new MyJoiner(),parallelism) .fieldsGrouping(1,new Fields("joinfield1","joinfield2")) .fieldsGrouping(2,new Fields("joi

storm

转载精选 2016-04-08 09:41:52 400 阅读

Storm记录03--Storm的基本概念

首先我们通过一个 storm 和hadoop的对比来了解storm中的基本概念。HadoopStorm系统角色JobTrackerNimbusTaskTrackerSupervisorChildWorker应用名称JobTopology组件接口Mapper/ReducerSpout/Bolt接下来我们再来具体看一下这些概念。a、Nimbus：负责资源分配和任务调度。b、Supervisor：负责接

storm

转载精选 2016-04-08 09:39:48 328 阅读

Storm记录02-- Storm是什么

Storm是什么：如果只用一句话来描述storm的话，可能会是这样：分布式实时计算系统。按照storm作者的说法，storm对于实时计算的意义类似于hadoop对于批处理的意义。我们都知道，根据google mapreduce来实现的hadoop为我们提供了map, reduce原语，使我们的批处理程序变得非常地简单和优美。对比Hadoop的批处理，Storm是个实时的、分布式以及具备高容错的计算

Storm

转载精选 2016-04-08 09:31:40 479 阅读

Storm记录01-- 实时计算系统

实时计算系统实时计算场景：伴随着信息科技日新月异的发展，信息呈现出爆发式的膨胀，人们获取信息的途径也更加多样、更加便捷，同时对于信息的时效性要求也越来越高。举个搜索场景中的例子，当一个卖家发布了一条宝贝信息时，他希望的当然是这个宝贝马上就可以被卖家搜索出来、点击、购买啦，相反，如果这个宝贝要等到第二天或者更久才可以被搜出来，估计这个大哥就要骂娘了。再举一个推荐的例子，如果用户昨天在淘宝上买了一双袜

Storm

转载精选 2016-04-08 09:29:51 335 阅读

官方博客	全部文章	热门标签	班级博客
了解我们	网站地图	意见反馈

鸿蒙开发者社区	51CTO学堂
51CTO	软考资讯

51CTO博客

风中一叶

海量日志收集利器 —— Flume

sqoop的使用

sqoop学习

004-storm集群搭建

003-storm设计思想和处理过程

002-storm基本概念

001-storm简介

hadoop读写mysql数据库

深入研究java.lang.Runtime类

String,StringBuffer与StringBuilder的区别

Storm记录--12- Storm Transaction 原理+实战

Storm记录--11- Storm DRPC实战

Storm记录--10- Storm消息机制

Storm记录09- Storm Topology的并发度

Storm记录08--Storm基本API

Storm记录07--Maven安装使用

Storm记录06--Storm的HelloWorld

Storm记录005--Storm集群安装

Storm记录04-- Storm适用场景

Storm记录03--Storm的基本概念

Storm记录02-- Storm是什么

Storm记录01-- 实时计算系统

欢迎