首先,1. dubbo+spring  2.dubbo+SpringBoot,这一次我介绍的是第一种 dubbo+spring整个工程的架构分为三个部分:    第一部分:接口,面向接口编程的思想    第二部分:服务消费者,Consumer    第三部分:服务提供者,Provider我们为了试验这三个东西,创建maven项目,然后在里面添加三个模块,操作步骤如下:首先创建一
转载 2024-04-16 13:40:45
13阅读
一    平台二    软件环境        1)  JDK 1.6 以上 (最好1.7 Hadoop 某一项安装时候需要 1.7)    2m +1 规则。)        3)  设置 JAVA
转载 2024-03-26 20:42:59
14阅读
Zookeeper是一个高性能,分布式的,开源分布式应用协调服务。它提供了简单原始的功能,分布式应用可以基于它实现更高级的服务,比如同步,配置管理,集群管理,名空间。它被设计为易于编程,使用文件系统目录树作为数据模型。服务端跑在java上,提供java和C的客户端API。Zookeeper是Google的Chubby一个开源的实现,是高有效和可靠的协同工作系统,Zookeeper能够用来leade
# ZooKeeper架构及应用 ZooKeeper是一个分布式协调服务,提供数据发布/订阅、配置管理、分布式锁等功能。它被广泛应用于分布式系统中,用于保持分布式系统的一致性和可靠性。本文将介绍ZooKeeper的架构、使用场景,并通过代码示例演示其基本用法。 ## ZooKeeper架构 ZooKeeper的架构由多个角色组成,包括客户端、服务器、领导者和跟随者。 ### 客户端 客户端
原创 2023-07-18 10:12:17
48阅读
如果想详细了解hbase的安装:http://abloz.com/hbase/book.html 和官网http://hbase.apache.org/1.  快速单击安装在单机安装Hbase的方法。会引导你通过shell创建一个表,插入一行,然后删除它,最后停止Hbase。只要10分钟就可以完成以下的操作。1.1下载解压最新版本选择一个 Apache 下载镜像:http://
1.准备Linux环境 1.0点击VMware快捷方式,右键打开文件所在位置 -> 双击vmnetcfg.exe -> VMnet1 host-only ->修改subnet ip 设置网段:192.168.8.0 子网掩码:255.255.255.0 -> apply -> ok 回到windows --> 打开网
一,基本命令: 建表:create 'testtable','coulmn1','coulmn2' 也可以建表时加coulmn的属性如:create 'testtable',{NAME => 'coulmn1', BLOOMFILTER => 'NONE', REPLICATION_SCOPE => '0', VERSIONS =
目录简单介绍概述架构安装部署1.修改core-site.xml2.上传oozie的安装包并解压3.解压hadooplibs到与oozie平行的目录4.创建libext目录,并拷贝依赖包到libext目录5.拷贝mysql的驱动包到libext目录下6.上传ext-2.2.zip压缩包到libext目录下7.修改oozie-site.xml8.创建mysql数据库9.上传oozie依赖的jar包到h
转载 2023-07-13 11:33:37
56阅读
1. 基本信息介绍基于springkafka应用,非常简单即可搭建起来,前提是要有一个kafka的broker集群。我在之前的博文里面已经介绍并搭建了一套broker环境,参考Kafka研究【一】:bring up环境。另外,要注意的是kafka基于spring框架构建应用,需要注意版本信息,下面是官方要求:Apache Kafka Clients 1.0.0Spring Framework 5
转载 2024-03-31 22:21:53
105阅读
Zookeeper不仅可以单机提供服务,同时也支持多机组成集群来提供服务,实际上Zookeeper还支持另外一种伪集群的方式,也就是可以在一台物理机上运行多个Zookeeper实例。 Zookeeper通过复制来实现高可用性,只要集合体中半数以上的机器处于可用状态,
Springboot 整合 Kafka入门kafka 简介Kafka 特点 Kafka 最早是由 LinkedIn 公司开发一种分布式的基于发布/订阅的消息系统,之后成为 Apache 的顶级项目。主要特点如下:同时为发布和订阅提供高吞吐量 Kafka 的设计目标是以时间复杂度为 O(1) 的方式提供消息持久化能力,即使对TB 级以上数据也能保证常数时间的访问性能。即使在非常廉价的商用机器上也能做
转载 2024-02-19 10:18:13
57阅读
已经在docker上安装zookeeper和kafka现在尝试在springBoot中集成kafka父级目录为了方便测试,将consumer和produce放在同一个父级项目中pom.xml中配置<parent> <artifactId>spring-boot-parent</artifactId> <groupId>
转载 2024-03-18 12:42:59
56阅读
Zookeeper不仅可以单机提供服务,同时也支持多机组成集群来提供服务,实际上Zookeeper还支持另外一种伪集群的方式,也就是可以在一台物理机上运行多个Zookeeper实例。 Zookeeper通过复制来实现高可用性,只要集合体中半数以上的机器处于可用状态,它就能够保证服务继续。 集群容灾性:3台机器只要有2台可用就可以选出leader并且对外提供服务(2n+1台机器,可以容n台机器挂
ha
原创 2021-07-06 17:30:51
280阅读
目录 简介 基本介绍 核心组件及概念 自动提交 手动提交 数据不丢失问题 kafka分区分配策略-Range kafka分区分配策略-轮询 kafka分区分配策略-粘性  kafka与rabbitmq吞吐量对比 rabbitmq架构  kafka集群架构 实战 基本配置 实战-一次生产消费过程   实战-生产者回调机制
转载 2024-04-07 00:03:09
125阅读
目录 Kafka生产者端可靠性保证:spring-kafka生产端 Kafka生产者端可靠性保证:producer向broker发送消息数据,需要有一定的可靠性,至少要保证数据:1、不丢失2、不重复producer提供了一些参数,在编写producer是进行合理设置和编写,就可以保证数据的可靠性。acks 参数配置为保证producer发送的数据能够可靠的发送到指定topic,topic的每
转载 2024-03-21 10:20:39
17阅读
KafkaConfig.javapackage com.niugang.config; import java.util.HashMap; import java.util.Map; import org.apache.kafka.clients.consumer.ConsumerConfig; import org.apache.kafka.clients.consumer.OffsetAn
转载 2024-06-05 23:06:32
106阅读
[b]spring kafka 配置详解[/b] 使用spring-integration-kafka发送消息 1.Outbound Channel Adapter用来发送消息到Kafka。 2.消息从Spring Integration Channel中发出,一旦配置好这个Channel,就可以利用这个Channel往Kafka发消息。(Messa
kafkaSpring的集成配置生产者:前提kafka安装完成,及创建好主题pom文件配置:<!-- https://mvnrepository.com/artifact/org.apache.kafka/kafka --> <dependency> <groupId>org.apache.kafka</groupId> <a
概述是什么基于zookeeper协调的分布式日志系统(也可以当做MQ系统)特点快速持久化:可以在O(1)的系统开销下进行消息持久化;高吞吐:在一台普通的服务器上既可以达到10W/s的吞吐速率;完全的分布式系统:Broker、Producer和Consumer都原生自动支持分布式,自动实现负载均衡;支持同步和异步复制两种高可用机制;支持数据批量发送和拉取;零拷贝技术(zero-copy):减少IO操
ZooKeeper 概述Zookeeper 是一个分布式协调服务的开源框架。 主要用来解决分布式集群中 应用系统的一致性问题,例如怎样避免同时操作同一数据造成脏读的问题。 ZooKeeper 本质上是一个分布式的小文件存储系统。 提供基于类似于文件系 统的目录树方式的数据存储,并且可以对树中的节点进行有效管理。从而用来维 护和监控你存储的数据的状态变化。通过监控这些数据状态的变化,从而可以达 到基
  • 1
  • 2
  • 3
  • 4
  • 5