crazy_charles的博客_大数据

解决kafka集群由于默认的__consumer_offsets这个topic的副本为1而存单点故障

__consumer_offsets

大数据

kafka

转载 2018-06-28 13:59:38 4994 阅读 1点赞

flume 收集日志，写入hdfs

首先安装flume：建议和Hadoop保持统一用户来安装Hadoop，flume本次我采用Hadoop用户安装flumehttp://douya.blog.51cto.com/6173221/1860390开始配置：1，配置文件编写：vim flume_hdfs.conf# Define a memory channel called ch1 on agent1agent1.chann

Hadoop

flume

原创 2016-12-06 11:35:17 3856 阅读

hive的详细介绍，安装，部署

介绍：一、什么是hive？？？1,hive是基于Hadoop的一个数据仓库工具、2,可以将结构化的数据文件映射为一张数据库表，并提供类sql的查询功能、3,可以将sql语句转换为mapreduce任务进行运行、4,可以用来进行数据提取转换加载（ETL）5,hive是sql解析引擎，它将sql 语句转换成M/R job然后在Hadoop中运行。hive的表其实就是HDFS的目录/文件夹。

Java

Hadoop

hive

原创 2016-12-02 10:17:17 2184 阅读

CentOS7下安装配置Spark-2.0.1集群

Spark是一个快速、通用的计算集群框架，它的内核使用Scala语言编写，它提供了Scala、Java和Python编程语言high-level API，使用这些API能够非常容易地开发并行处理的应用程序。下面，我们通过搭建Spark集群计算环境，并进行简单地验证，来体验一下使用Spark计算的特点。无论从安装运行环境还是从编写处理程序（用Scala，Spark默认提供的Shell环境可以直接输入

hadoop

spark

scala

翻译 2016-10-19 10:40:51 3568 阅读 1收藏

flume 整合kafka

1，安装并成功能运行flume2，安装并成功能运行kafka3，安装并成功能运行zookeeper4，开始整合flume收集的数据，写入kafkaa,修改flume的配置文加：vim flume_kafka.confagent1.sources = r1agent1.sinks = k1agent1.channels = c1# Describe/configure the sourc

zookeeper

flume

kafka

原创 2016-10-12 00:32:33 1041 阅读

kafka详细介绍，安装，配置

1、简介 Kafka is a distributed,partitioned,replicated commit logservice。它提供了类似于JMS的特性，但是在设计实现上完全不同，此外它并不是JMS规范的实现。kafka对消息保存时根据Topic进行归类，发送消息者成为Producer,消息接受者成为Consumer,此外kafka集群有多个kaf

hadoop

kafka

zookpeer

原创 2016-10-12 00:12:31 5994 阅读 1点赞 2收藏

flume详细介绍，安装，配置

　一、什么是Flume?　　flume 作为 cloudera 开发的实时日志收集系统，受到了业界的认可与广泛应用。Flume 初始的发行版本目前被统称为 Flume OG（original generation），属于 cloudera。但随着 FLume 功能的扩展，Flume OG 代码工程臃肿、核心组件设计不合理、核心配置不标准等缺点暴露出来，尤其是在 Flume OG 的最后一个发行版本

apache

flume

原创 2016-10-10 20:53:37 10000+阅读 1点赞 1收藏

map/reduce之间的shuffle，partition，combiner过程的详解

1，什么是mapreduce ？Mapreduce是一种编程模型，是一种编程方法，抽象理论。hadoop要分布式包括两部分，一是分布式文件系统hdfs,一部是分布式计算框，就是mapreduce,缺一不可，也就是说，可以通过mapreduce很容易在hadoop平台上进行分布式的计算编程。MR由两个阶段组成，map和reduce，用户只需要实现map（）和reduce（）两个函数，即可实现分布式计

map

hadoop

reduce

partion

combine

翻译精选 2016-09-21 09:51:02 2934 阅读 1点赞

官方博客	全部文章	热门标签	班级博客
了解我们	网站地图	意见反馈

鸿蒙开发者社区	51CTO学堂
51CTO	软考资讯

51CTO博客

crazy_sir

解决kafka集群由于默认的__consumer_offsets这个topic的副本为1而存单点故障

flume 收集日志，写入hdfs

hive的详细介绍，安装，部署

CentOS7下安装配置Spark-2.0.1集群

flume 整合kafka

kafka详细介绍，安装，配置

flume详细介绍，安装，配置

map/reduce之间的shuffle，partition，combiner过程的详解