choulanlan的博客_kafka

storm+kafka：WordCount程序

简单的输入输出做完了，来点复杂点儿的场景：从某个topic定于消息，然后根据空格分词，统计单词数量，然后将当前输入的单词数量推送到另一个topic。首先规划需要用到的类：从KafkaSpout接收数据并进行处理的backtype.storm.spout.Scheme子类；数据切分bolt：SplitSentenceBol

程序

单词

命名

原创 2016-06-23 17:29:21 2192 阅读

kafka删除topic的方法

1.使用命令删除topic:bin/kafka-topics.sh --delete --zookeeper localhost:2181 --topic ${topicName}只是这样事实上并没有真正删Topic2.进入/tmp/kafka-logs目录，删除文件名为${topicName}的文件夹3.进入zookeeper的安装目录，再进入bin目录下，使用命令启动zookeeper客户端（

客户端

文件夹

新建

localhost

topic

原创 2016-06-22 17:47:26 10000+阅读

kafka消息和日志

消息格式消息由一个固定长度的头部和可变长度的字节数组组成。头部包含了一个版本号和CRC32校验码。 [plain] view plaincopyprint?/*** 具有N个字节的消息的格式如下** 如果版本号是0** 1. 1个字节的 "magic" 标记** 2. 4个字节的CRC32校验码** 3. N - 5个字节的具体信息** 如果版本号是1** 1. 1个字节的 "

日志

消息

kafka

转载精选 2016-06-08 15:16:06 1267 阅读

kafka客户端API

Kafka Producer APIsProcuder API有两种：kafka.producer.SyncProducer和kafka.producer.async.AsyncProducer.它们都实现了同一个接口：class Producer {/* 将消息发送到指定分区 */publicvoid send(kafka.javaapi.producer.ProducerD

api

kafka

转载精选 2016-06-08 15:15:08 1461 阅读

kafka主从同步

Kafka允许topic的分区拥有若干副本，这个数量是可以配置的，你可以为每个topci配置副本的数量。Kafka会自动在每个个副本上备份数据，所以当一个节点down掉时数据依然是可用的。Kafka的副本功能不是必须的，你可以配置只有一个副本，这样其实就相当于只有一份数据。创建副本的单位是topic的分区，每个分区都有一个leader和零或多个followers.所有的读写操作都由leader处理

主从同步

转载精选 2016-06-08 15:14:22 1623 阅读

Producer和Consumer

Kafka Producer消息发送producer直接将数据发送到broker的leader(主节点)，不需要在多个节点进行分发。为了帮助producer做到这点，所有的Kafka节点都可以及时的告知:哪些节点是活动的，目标topic目标分区的leader在哪。这样producer就可以直接将消息发送到目的地了。客户端控制消息将被分发到哪个分区。可以通过负载均衡随机的选择，或者使用分区函数。Ka

consumer

producer

转载精选 2016-06-08 15:13:45 1212 阅读

kafka性能优化

Kafka在提高效率方面做了很大努力。Kafka的一个主要使用场景是处理网站活动日志，吞吐量是非常大的，每个页面都会产生好多次写操作。读方面，假设每个消息只被消费一次，读的量的也是很大的，Kafka也尽量使读的操作更轻量化。我们之前讨论了磁盘的性能问题，线性读写的情况下影响磁盘性能问题大约有两个方面：太多的琐碎的I/O操作和太多的字节拷贝。I/O问题发生在客户端和服务端之间，也发生在服务端内部的持

性能优化

kafka

转载精选 2016-06-08 15:12:32 2884 阅读

kafka消息传输的事务定义

之前讨论了consumer和producer是怎么工作的，现在来讨论一下数据传输方面。数据传输的事务定义通常有以下三种级别：最多一次: 消息不会被重复发送，最多被传输一次，但也有可能一次不传输。最少一次: 消息不会被漏发送，最少被传输一次，但也有可能被重复传输.精确的一次（Exactly once）: 不会漏传输也不会重复传输,每个消息都传输被一次而且仅仅被传输一次，

kafka

转载精选 2016-06-08 15:11:33 2190 阅读

kafka数据持久化

不要畏惧文件系统!Kafka大量依赖文件系统去存储和缓存消息。对于硬盘有个传统的观念是硬盘总是很慢，这使很多人怀疑基于文件系统的架构能否提供优异的性能。实际上硬盘的快慢完全取决于使用它的方式。设计良好的硬盘架构可以和内存一样快。在6块7200转的SATA RAID-5磁盘阵列的线性写速度差不多是600MB/s，但是随即写的速度却是100k/s，差了差不多6000倍。现代的操作系统都对次做了大量的优

程序

操作系统

技巧

回收

转载精选 2016-06-08 15:10:40 1930 阅读

搭建kafka开发环境

篇文章中我们搭建了kafka的服务器，并可以使用Kafka的命令行工具创建topic，发送和接收消息。下面我们来搭建kafka的开发环境。添加依赖搭建开发环境需要引入kafka的jar包，一种方式是将Kafka安装包中lib下的jar包加入到项目的classpath中，这种比较简单了。不过我们使用另一种更加流行的方式：使用maven管理jar包依赖。创建好maven项目后，在pom.xml中添加以

服务器

文章

开发

文件夹

topic

转载精选 2016-06-08 15:09:43 642 阅读

kafka简单介绍

Kafka是一个分布式的、可分区的、可复制的消息系统。它提供了普通消息系统的功能，但具有自己独特的设计。这个独特的设计是什么样的呢？首先让我们看几个基本的消息系统术语：Kafka将消息以topic为单位进行归纳。将向Kafka topic发布消息的程序成为producers.将预订topics并消费消息的程序成为consumer.Kafka以集群的方式运行，可以由一个或多个服务组成，每

Java

客户端

消费者

服务端

topic

转载精选 2016-06-08 15:08:28 470 阅读

搭建Kafka运行环境

这两天在公司学kafka，在网上找到一篇比较详细的入门博文，拿过来学习一下，发现直接按上面的做还是有些小问题，自己就在教程里做了些相应的修改介绍Kafka是一个分布式的、可分区的、可复制的消息系统。它提供了普通消息系统的功能，但具有自己独特的设计。这个独特的设计是什么样的呢？首先让我们看几个基本的消息系统术语：Kafka将消息以topic为单位进行归纳。将向Kafka topic发布消

客户端

消费者

运行环境

服务端

topic

原创 2016-06-03 14:52:24 596 阅读 1点赞

官方博客	全部文章	热门标签	班级博客
了解我们	网站地图	意见反馈

鸿蒙开发者社区	51CTO学堂
51CTO	软考资讯

51CTO博客

冬瓜烧肉

storm+kafka：WordCount程序

kafka删除topic的方法

kafka消息和日志

kafka客户端API

kafka主从同步

Producer和Consumer

kafka性能优化

kafka消息传输的事务定义

kafka数据持久化

搭建kafka开发环境

kafka简单介绍

搭建Kafka运行环境