转载
2019-12-11 16:27:00
129阅读
Zipkin 是 Twitter 的一个开源项目，它基于 Google Dapper 实现，它致力于收集服务的定时数据，以解决微服务架构中的延迟问题，包括数据的收集、存储、查找和展现。 我们可以使用它来收集各个服务器上请求链路的跟踪数据，并通过它提供的 REST API 接口来辅助我们查询跟踪数据以实现对分布式系统的监控程序，从而及时地发现系统中出现的延迟升高问题并找出系统性能瓶颈的根源。除了面向
CentOS7 安装 docker + zookeeper集群前言一、docker是什么？二、在CentOS7中安装docker三、zookeeper是什么？四、使用docker安装zookeeper五、遇到的问题六、总结 前言在微服务盛行的当下，docker在快速构建、测试以及部署应用程序中扮演着重要的角色，zookeeper则是分布式应用特别是dubbo微服务开发架构下不可或缺的成员，两者各
伪集群模式这里我们采用的是伪集群模式，一台机器上三个节点，集群模式是一台机器上一个节点。之所以称伪集群，就是这台机器挂了，集群也就没了。集群与伪集群的方式完全一样的。Zookeeper工作原理在zookeeper的集群中，各个节点共有下面3种角色和4种状态：角色：leader,follower,observer状态：leading,following,observing,lookingZookee
转载
2024-06-23 10:12:51
140阅读
Kafka152.kafka 可以脱离 zookeeper 单独使用吗？为什么？kafka 不能脱离 zookeeper 单独使用，因为 kafka 使用 zookeeper 管理和协调 kafka 的节点服务器。153.kafka 有几种数据保留的策略？kafka 有两种数据保存策略：1.按照过期时间保留。2.按照存储的消息大小保留。154.kafka 同时设置了 7 天和 10G 清除数据，到
转载
2024-10-29 18:52:59
28阅读
部署zk+kafka集群
原创
2021-04-13 21:14:18
819阅读
HBase有三种部署方式，分别为单机模式、伪集群模式、集群模式。其中单机模式比较简单，自行查找；伪集群模式和集群模式基本一样，区别就是前者都在一台电脑上，后者在不同的电脑上。下面以生产环境一般用的集群方式部署为例说明，按最小要求3台节点来介绍集群部署方式。本样例是在3台虚拟机下部署的，每个节点安装Centos7核心版(不带GUI)3台机器分别规划如下：hdp1:10.10.10.110hdp2:1
转载
2023-07-13 16:52:59
274阅读
文章目录zookeeper-集群部署一、准备二、修改配置2.1 示例配置2.2 创建myid文件2.3 日志2.4 启动文件三、启动四、小结五、参考 zookeeper-集群部署在前面一篇文章简书了单机版的zk的部署，这里我们看看集群的部署，集群的部署是基于单机而来的，在单机的基础之上增加了一下步骤。假设我们现在有3台设备ABC一、准备创建目录(在ABC创建同样的目录)mkdir zk
转载
2024-07-06 13:19:32
62阅读
Zookeeper 简介
Zookeeper 分布式服务框架是 Apache Hadoop 的一个子项目，它主要是用来解决分布式应用中经常遇到的一些数据管理问题，如：统一命名服务、状态同步服务、集群管理、分布式应用配置项的管理等。
Hadoop简介
Hadoop是一个由Apache基金会所开发的
分布式系统基础架构。
用户可以在不了解分布
转载
2024-04-17 12:17:25
41阅读
目录网络配置SSH 免密码登录部署执行测试网络配置192.168.81.157 node1 master192.168.81.158 node2 slave1192.168.81.159 node3 slave2相同的配置先在一个节点上配置，配置完成后复制到其它节点上。vi /etc/hosts192.168.81.157 node1..
原创
2023-05-17 11:43:23
99阅读
hadoop是基于java的数据计算平台，引入第三方库，例如C语言实现的开发包将会大大增强数据分析的效率和能力。 阿里巴巴内部使用的分词软件（用c++实现的，以下简称WS包）是日常工作中最基本的软件包，通过java的jni机制，笔者将WS包成功的运行在hadoop上，深受很多部门的欢迎。下面借这个例子介绍hadoop上jni程序的开发过程。首先，简单介绍一下WS包中的调用接口和基本结构
转载
2024-08-31 22:36:35
44阅读
首先，高可用集群是建立在zookeeper搭建没有问题的前提下来完成的，没有搭建好zookeeper的，先搭好才可以做以下操作。 一：前期准备（只需要在主节点master上完成） 1.拍摄快照 想拍就拍，不想拍算了，建议还是拍一个，毕竟万一搭不好，还可以回到你这个状态，记得给快照加个备注，以防忘记你这个快照是干嘛的。最好关机状态下拍。 2.删除完全分布式集群rm -rf /usr/local/
转载
2023-07-24 14:28:37
78阅读
# Zookeeper在Hadoop生态中的作用
在大数据处理的背景下，Hadoop已经成为一个广泛使用的开源分布式计算平台。在Hadoop生态系统中，Apache Zookeeper 同样扮演着关键角色。Zookeeper 提供了一种简单的、通用的、强一致性的数据存储，也被用于管理和协调分布式应用程序，尤其是在 Hadoop 的应用场景中。下面我们将通过几个步骤来了解 Zookeeper 在
第1章 准备工作1.1 实验环境介绍操作系统版本：CentOS 6.4-64bitHadoop版本：hadoop-2.2.0.x86_64.tar.gzZooekeeper版本：zookeeper-3.4.5.tar.gzJDK版本：jdk-7u80-linux-x64.rpm本实验准备了6台虚拟机搭建Hadoop集群1.2 集群IP和主机名规划主机名ip地址安装的软件运行的进程hadoop117
原创
2016-04-04 19:40:47
528阅读
Hadoop集群部署
原创
2019-04-19 19:38:05
658阅读
一、准备工作同一个局域网中的三台linux虚拟机，我用的是redhat6.4,如果主机是windows操作系统，可以先安装vmware workstation, 然后在workstation中装上3台虚拟机，这样就形成了一个以物理机为DNS服务器的局域网，物理机和虚拟机都有一个局域网IP，互相之间可以通信。因为hadoop是一个java开发者写的开源软件，所以你懂得，肯定用的是java语言编写的，
关闭防火墙systemctl stop firewalld.servicesystemctl disable firewalld.service
原创
2023-03-10 14:55:40
81阅读
1.Hadoop的3种运行模式 单机模式：安装简单，几乎不用作任何配置，但仅限于调试用途 伪分布模式：在单节点上同时启动namenode、datanode、jobtracker、tasktracker、secondary namenode等5个进程，模拟分布式运行的各个节点  
原创
2015-05-09 15:35:44
573阅读
Hadoop部署1. 安装完全分布式Hadoop1.1 安装准备工作1.1.1 规划 本安装示例将使用六台服务器(CentOS 6.5 64bit)来实现，其规划如下所示： IP地址 &nb
原创
2015-11-06 11:29:01
2004阅读
一、Hadoop框架简介Hadoop的框架最核心的设计就是：HDFS和MapReduce。HDFS为海量的数据提供了存储，则MapReduce为海量的数据提供了计算。HDFS(HadoopDistributionFileSystem)，称为Hadoop分布式文件系统，主要特点：HDFS最小以64MB的数据块存储文件，相比其他文件系统中的4KB~32KB分块大得多。HDFS在时延的基础上对吞吐量进行
原创
2018-09-17 13:21:36
805阅读
