单线程生产者#!/usr/bin/env python # -*- coding: utf-8 -*- import random import sys from kafka import KafkaProducer from kafka.client import
在Kafka0.9版本之前消费者保存的偏移量是在zookeeper中/consumers/GROUP.ID/offsets/TOPIC.NAME/PARTITION.ID。新版消费者不在保存偏移量到zookeeper中，而是保存在Kafka的一个内部主题中“__consumer_offsets”，该主题默认有50个分区，每个分区3个副本，分区数量有参数offset.topic.num.partit
Python对Zookeeper的基本操作#!/usr/bin/env python # -*- coding: utf-8 -*- import sys from kazoo.client import KazooClient def main(): &n
主题管理创建主题如果配置了auto.create.topics.enable=true（这也是默认值）这样当生产者向一个没有创建的主题发送消息就会自动创建，其分区数量和副本数量也是有默认配置来控制的。# 我们这里创建一个3个分区每个分区有2个副本的主题 kafka-topics.sh --create --zookeeper 172.16.48.171:21
Kafka分区和副本都是由副本管理器所管理的，引入副本就是为了提高可用性，整个集群中如何判断代理是否存活？一个存活的代理必须与Zookeeper保持连接，通过Zookeeper的心跳机制来实现的作为一个Follower副本，该副本不能落后Leader副本太久（怎么算太久？）replica.lag.max.messages配置项确定的，默认为10秒。满足上面2个条件则认为该副本或者节点处于同步中（i
kafka消息是通过主题来进行组织和区分的，每个主题有分为零个或多个分区，分区数量可以在创建时指定也可以后期修改，不过修改只能增加不能删除，每个分区又有一个或多个副本，副本中会有一个副本被选做Leader副本，该副本对外提供读写操作，其他副本则是Follower。生产者发送消息到Leader副本的代理节点上，Follower副本从Leader同步数据。分区的每个副本对应到一个Log对象，每个Log
消费者模型消费模型有分区消费模型、组消费模型。分区消费模型：可以看到在这种模型下分区和消费者是对应的，为了保证最大效率通常一个分区对应一个消费者。生产者模型
环境描述服务器名称系统配置Srv01.contoso.comCentOS 7、Kafka_2.11-1.1.0IP:172.16.100.10Srv02.contoso.comCentOS 7、Kafka_2.11-1.1.0IP:172.16.100.20Srv03.contoso.comCentOS 7、Kafka_2.11-1.1.0IP:172.16.100.30Zookeeper集群安装
kafka是用于构建实时数据管道和数据流的应用程序。具有实时横向扩展、高吞吐量、支持大量堆积具有容错性和速度快等特点。它是一个高性能分布式消息系统。通常一个分布式流数据平台它具有三个特点：发布和订阅功能，类似于消息系统以容错的方式记录流处理流Kafka通常用于构建在系统或应用之间的实时数据流管道、构建实时流应用程序用于转换和响应数据流
集群数量：3、5、7这样的奇数。当然偶数也可以组成集群只是3台与4台组成的集群其实允许的故障数量是一样的，所以4台组成的集群不划算。多机房问题：如果每个机房之间的网络状况良好可以在每个机房都部署ZK服务器来组成一个大的Zookeeper集群。首先确定你的集群规模比如是N台。然后分别计算每个机房的点数。第一个机房N1=（n-1）/2 ，第二个机房N2的取值范围是 1~（N-N1）/2，第三个机房N3
zookeeper日志有三类：快照（虽然不是日志但是它是数据）、事务日志（记录每次操作）、zookeeper自己系统日志。第三个不属于数据类所以这里不做说明。快照数据Zookeeper在运行时会在内存中维护一个完整的数据，就像内存数据库一样。ZKDatabase就是Zookeeper的内存数据库，负载管理Zookeeper的会话、存储和事务日志。它会定期dump一份数据快照到硬盘上，在Zookee
Zookeeper集群启动过程预启动统一由QuorumPeerMain作为启动类读取zoo.cfg配置文件创建并启动历史文件清理器DatadirCleanupManager判断当前是集群模式还是单机模式初始化创建ServerCnxnFactory，初始化ServerCnxnFactory，初始化一个线程，作为整个ServerCnxnFactory的主线程然后在初始化NIO服务器创建Zookeepe
Zookeeper是一个发布/订阅模式的分布式数据管理与协调框架，结合Watcher事件通知，可以搭建分布式框架中的很多核心功能。数据发布和订阅也就是常用的配置管理，将数据信息发布到一个或者多个ZK节点上，应用程序监听这些节点当有数据变化时就获取这些变化并应用到程序中，实现动态更新配置的功能。发布订阅中通常有推拉两种模式，ZK采用推拉结合，客户端注册感兴趣的节点，一旦节点发生变化服务器会发出Wat
JMX是对运行中的JAVA系统进行管控。目前ZK使用标准的JMX接口。修改ZK的启动脚本zkServer.sh这个启动脚本进行修改，第一句不是必须的，但是第二句是必须的在conf目录下新建java.env文件重新启动为什么要在conf里面建立一个java.env呢？其实你都写在zkServer.sh中也行，但是很不利于管理，其实这个脚本本身就考虑使用变量。至于为什么是java.env，那就要看bi
最好配置上环境变量连接操作：zkCli.sh-timeout1000-r-server127.0.0.1#-timeout设置客户端和服务器之间的超时时长，单位毫秒#-r只读模式，不加就是读写模式#-serverIP:PORT要连接的服务器查询操作：ls/#查看指定路径下的节点statPATH#查看指定节点的状态信息getPATH#获取指定节点的数据，它会包括状态信息
Rocket的消息是有consume queue和commit log组成。Consume QueueConsume queue是消息的逻辑队列，相当于字典目录，用来指定消息在物理文件（commit log）上的位置，我们可以在配置中指定consumequeue和commitlog存储的目录。每一个topic下的每个queue都有一个对应的consumqueue文件。根据topic和queueid
消息顺序消息顺序是只可以按照消息发送的顺序进行消费。一个订单产生3条消息，订单创建、付款、订单完成。消费时只有按照顺序消费才有意义，不可能先消费付款消息再消费订单创建消息，这样就乱了。另外，多笔订单又可以并行消费。如何保证呢？一个订单产生的消息只能发送给同一个MQ服务器中的同一个分区，并且按顺序发送，这样才能在理论上保证消费者消费时是按照顺序消费的，因为一个分区就是一个逻辑队列。生产者虽然按顺序发
RocketMQ介绍基于发布订阅的队列模型消息中间件，服务端使用JAVA编写，客户端支持JAVA、C++。阿里2012年开源，之后作为Apache基金会的一个项目进行维护。是一款低延迟、高可靠、可伸缩、易于使用的中间件。在Github上有相关介绍。支持的部署架构角色说明角色说明Producer生产者，用于将消息发送到MQ，生产者本身既可以是生成消息，也可以对外提供接口，由外部来调用接口，再由生产者
消息中间件是用于分步式系统之间收发消息的组件。消息中间件的作用1. 应用解耦2. 异步处理比如用户注册场景，注册主流程完成以后，需要调用邮件系统发送邮件通知用户注册成功，可能还需要调用其他系统。这是串行的，如果一个系统依赖很多系统，那么这个主流程会比较长，耦合度高，整个系统维护成本也会越来越高。那么我们就可以使用消息中间件来进行解耦，通过发布订阅模式，完成用户注册之后，向中间件发送消息，这样就可以
TCP层和HTTP层的keepalive区别
数据模型ZK拥有一个命名空间就像一个精简的文件系统，不同的是它的命名空间中的每个节点拥有它自己或者它下面子节点相关联的数据。ZK中必须使用绝对路径也就是使用“/”开头。Znode：ZK目录树中每个节点对应一个Znode。每个Znode维护这一个属性，当前版本、数据版本、建立时间和修改时间等，看下图：ZK就是使用这些属性来实现特殊功能的。当一个客户端要对某个节点进行修改时，必须提供该数据的版本号，当
马哥Linux培训MSExchange OrgDavid Linux吟—技术交流 老男孩Linux曾垂鑫的技术专栏九叔-微软私有云周平的微软技术交流平台学无止境徐庭的博客-IT技术分享爱维Linux谢睿的工作博客VMCloud强生的博客夏明亮的博客Reinember菜鸟起航听闻王春海的博客不老的老方桌面虚拟化杂谈家住海边喜欢浪好记性不如烂笔头从心开始纳米龙
安装环境：CentOS 7 内存1GBJDK版本：1.8.0_112为JDK配置如下环境变量：编辑/etc/profile.d/jdk.sh#!/bin/bash JAVA_HOME=/usr/local/jdk1.8.0_112 export PATH=$JAVA_HOME/bin:$JAVA_HOME/jre/bin:$PATH之后运行下面的命令：注意：在生
分布式在分布式框架中，分布式应用面临的最大的问题就是数据一致性。那么Zookeeper就是一个比较好的解决方案。在分布式框架中起到协调作用。什么是Zookeeperzookeeper是高性能的分布式协作服务和分布式数据一致性解决方案，由雅虎创建，是Goole Chubby的开源实现，所以你就自然明白Zookeeper和Chubby的关系了。Chubby是一个分布式锁服务，GFS和Big Table
Delay ack（延迟确认）正常情况下服务器收到一个请求时就会立即回复ACK确认给客户端，然后客户端再发送下一个包，服务器再进行回复。有时候服务器回复的ACK包有长度，但实际内容长度为0，这也没关系属于正常的。不过一次发送一次确认效率比较低，能不能收多次批量确认一次呢？这就是延迟确认。Delay ack是说收到包不立即回复ack，而是等一会儿默认200毫秒，看看这段时间是否有还有包发过来（属于同
的关于TIME_WAIT：从上图中可以看到TIME_WAIT状态是客户端受到服务器的FIN并且客户端并返回ACK之后处于的状态，当处于该状态时无法创建新连接，因为端口被占用。存在该状态的原因有2点：可靠的终止TCP连接，网络是不可靠的，如果服务器没有收到客户端的ACK，那么服务器将在超时之后重新发送FIN，那么客户端必须处于一个可接受的状态就是time_wait，如果直接closed那显然是收不到
的
网络连接状态网络连接状态非常重要这里既包含三次握手中的也包括四次断开中的，所以要熟悉。状态说明LISTEN首先服务器需要打开一个socket进行监听，监听来自远方TCP端口的连接请求SYN_SENT表示主动连接，客户端能通过应用程序调用connect()函数进行active open。于是客户端TCP发送一个SYN以请求建立一个连接，之后状态为SYN_SEND，表示已发送一个SYN到服务器端，等待
diff命令：是Unix系统的一个重要工具，用来比较两个文本文件的差异比如A文件和B文件，用法很简单。如果A文件比B文件新且内容多，那么这个diff工具可以生产 补丁文件，这个补丁文件就是2个文本的差异，你拿这个补丁就可以给B文件打上，这样2个文件就一样了。打补丁的命令就是后面要说的pacth命令。用法：diff 老版本 新版本使用diff命令比较（普通格式）diff
基于OpenvSwitch实现跨主机通信：环境描述：计算机名称IPDocker01eth0：192.168.130.128/24eth1：172.16.100.10/24docker0：172.17.0.1/24（默认）Docker02eth0：192.168.130.129/24eth1：172.16.100.20/24docker0：172.17.0.1/24（默认）安装OpenvSwitch
Copyright © 2005-2023 51CTO.COM 版权所有 京ICP证060544号
