主机是部署服务的基础设施，通过主机管理可以向Ambari管理的集群中添加主机、删除主机以及查看主机状态等。添加主机通过Ambari可以快速向集群中添加主机，实现集群的快速横向扩展。 1.在Ambari页面单击“Hosts”页签，系统显示主机管理页面，如下图所示。 2、 单击“Action”并选择“Add New Hosts”，系统显示“Add Host Wizard”对话框，
转载
2024-03-27 13:39:28
140阅读
基于Web的Kafka管理器工具之Kafka-manager的编译部署详细安装 (支持kafka0.8、0.9和0.10以后版本)（图文详解）（默认端口或任意自定义端口） 但是，要注意的是，因为在amabri集群里啊，10000端口默认是给了oozie的。 然而，我上述的博客，是当时手动临时给的10000端口给kafka-manager，所以，对
虽然大数据越来越流行，但其学习的门槛却一直阻碍着很多的分布式应用初学者或者大数据的业务应用开发者。多个产品之间的不兼容问题，快速集成和维护也显得比较困难。不管是 Hadoop V1 或者 V2 的安装，又或者 Spark/YARN 等的集成，都不是几行简单的命令可以完成的，而是需要手工修改很多的集群配置，这进一步增加了业务开发者的学习和使用难度。有了 Ambari，这些都不再是难题。 Amb
转载
2024-03-14 19:27:57
87阅读
由于最开始使用ambari自带的kerberos和kafka集成的时候，总是消费不成功数据，感觉自己还是哪儿出了问题，所以我就先自己搭了一套开源的单机kafka，搭了一套单机kerberos环境，用来测试kerberos。 单机版的kafka和kerberos：（kerberos服务和数据库的搭建可以看下面ambari部署kerberos那里，是一样的）1.官网下载zookeeper，安
转载
2024-01-21 12:23:05
307阅读
官方升级版本说明
http://docs.hortonworks.com/HDPDocuments/Ambari-2.4.0.1/bk_ambari-installation/content/determine_stack_compatibility.html
官方升级步骤
http://docs.hortonworks.com/HDPDocu
介绍：1. ActiveMQ 和 kafka 都是Apache的顶级项目。
2. ActiveMQ支持事物,RabbitMQ和kafka不支持事物。
3. ActiveMQ、kafka、RabbitMQ 都支持集群、负载均衡。
4. kafka 支持动态扩容，通过zookeeper实现的。（如果不支持动态扩容，就意味若生成环境的服务，达到阈值时必须停止服务器再扩容）。
5. ActiveMQ是J
转载
2024-10-11 18:41:02
11阅读
总体思路:对ambari-admin,ambari-web模块单独编译(因为二次开发主要是针对这两个模块)利用brunch watch功能，对文件夹源码进行实时监控编译,提高开发效率文章目录一. Ambari源码编译安装二. Linux环境设置2.1 关闭防火墙2.2 关闭selinux2.3 安装npm依赖包三. 使用samba建立共享连接3.1 安装启动samba3.2 配置共享文件夹3.3
因为是从安装文档上复制下来的,使用命令的时候请注意空格与-和–等等**
1. 配置静态IP、DNS
如果ifconfig不能使用
修改 /etc/sysconfig/network-scripts/ifcfg-en33
onboot=no
网卡重启：systemctl restart network
这样就可以上网了下载ifconfig
yum -y install net-tools
目录1.RabbitMQ的高可用1.1 单机模式1.2 普通集群模式1.3 镜像集群模式2.Kafka的高可用3.activeMQ的高可用3.1 Shared Nothing Master/Slave3.2 Shared Database Master/Slave3.3 Shared File system Master/Slave 3.4 基于Zookee
我选择学习Spark的架构是：Spark + Hadoop （YARN, HDFS). 为了更好的管理自己的Hadoop集群，我选择了Ambari。这篇笔记记录了我安装Ambari的过程。环境公司内网，访问外部需要通过代理CentOS 7， JDK 8安装步骤1. 更改主机名Ambari不允许使用例如localhost之类的主机名。因此要将主机更改一个有意义的名字。例如my-ambari-serv
转载
2024-05-07 23:58:27
123阅读
１.简介２.环境准备３.配置http服务４.配置apt本地安装５.安装ambari-server5.1 ambari配置5.2 ambri-server 启动６. 安装组件6.1 输入集群名字6.2 选择hdp版本6.3 配置本机免密6.4 配置私钥6.5 选择组件6.6 安装hive数据库6.7 继续完成安装7. 组件shell命令验证7.1 hadoop7.2 hive7.3 hbase7.4
转载
2024-08-31 20:39:36
92阅读
消息格式日志一个叫做“my_topic”且有两个分区的的topic,它的日志有两个文件夹组成，my_topic_0和my_topic_1,每个文件夹里放着具体的数据文件，每个数据文件都是一系列的日志实体，每个日志实体有一个4个字节的整数N标注消息的长度，后边跟着N个字节的消息。每个消息都可以由一个64位的整数offset标注，offset标注了这条消息在发送到这个分区的消息流中的起始位置。每个
转载
2024-03-10 17:38:38
49阅读
Ambari是hadoop分布式集群配置管理工具，是由hortonworks主导的开源项目。它已经成为apache基金会的孵化器项目，已经成为hadoop运维系统中的得力助手，引起了业界和学术界的关注。现在我们将深入学习Ambari原理及其架构。
Ambari架构采用的是Server/Client的模式，主要由两部分组成：ambari-agent和ambari-server。amba
环境准备启动zookeeper集群和kafka集群，在kafka集群中打开一个消费者1. [hadoop@hadoop-100 kafka]$ zkservers start
[hadoop@hadoop-100 kafka]$ zkservers status
[hadoop@hadoop-100 kafka]$ mykafka start
[hadoop@hadoop-100 kafk
转载
2024-09-04 10:11:06
55阅读
简介kafka主要用于实现低延迟的发送和收集大量的事件和日志数据--通常是活跃的数据(PV、访问记录等)，数据以日志形式记录下来，然后由一个专门的系统来进行日志的收集与统计；吞吐量极高的分布式消息系统，典型的发布订阅模式系统；kafka集群，没有中心节点的概念，可以在不做任何配置修改的情况下添加和删除服务器，同样，消息的生产者、消费者可以随意重启、上下线；Broker注册Broker是分布式部署，
转载
2024-04-21 18:36:47
39阅读
消息设计1.消息格式Kafka的实现方式本质上是使用java NIO的ByteBuffer来保存消息,同时依赖文件系统提供的页缓存机制，而非依靠java的堆缓存。2.版本变迁0.11.0.0版本是kafka的一个里程碑式的大版本。特别是对于消息格式进行了改进和升级。kafka的消息版本变迁：1.V0:指0.10.0.0之前的版本,是kafka最早的消息版本,格式如下:&nb
转载
2024-04-13 10:15:12
11阅读
前言生产者生产消息，调用Kafka Client提供的API通过send方法发送到broker之后，broker会根据消息请求类型有对应的处理手法，并且不止是生产者投递的消息，还有broker与broker之间也会传递请求。首先讲一下Kafka的请求类型。请求类型元数据请求解决客户端去找分区首领所在哪个broker的问题元数据请求里面包含了：客户端感兴趣的主题列表。服务器端的响应消息里指明了这些主
转载
2024-04-03 15:26:49
40阅读
Kafka 的 ack 机制（数据可靠性保证）0：不等待 broker 返回确认消息1：等待 topic 中某个 partition leader 保存成功的状态反馈-1：等待 topic 中某个 partition 所有副本都保存成功的状态反馈仅设置 acks=-1 也不能保证数据不丢失，当 Isr 列表中只有 Leader 时，同样有可能造成数据丢失。要保证数据不丢除了设置 acks=-1,
转载
2024-04-01 08:41:34
83阅读
背景说明在维护 kafka 集群的过程中，发现以前的一些配置项并不是很合理，原因是自己对 kafka broker 的配置项不了解，为了加强自己对这部分的理解，也为了更好的维护 kafka 集群，对 kafka-1.0.1 版本的 broker 的配置项进行了 review。可配置项1、必须要配置的参数有三个：broker.id
log.dirs
zookeeper.connect
复制代码2
转载
2024-08-20 12:09:43
110阅读
Kakfa在大数据消息引擎领域，绝对是没有争议的国民老公。这是kafka系列的第一篇文章。预计共出20篇系列文章，全部原创，从0到1，跟你一起死磕kafka。本文盘点了 Kafka 的各种术语并且进行解读，术语可能比较枯燥，但真的是精髓中的精髓！了解Kafka之前我们必须先掌握它的相关概念和术语，这对于后面深入学习 Kafka 各种功能将大有裨益。所以，枯燥你也得给我看完！大概是有这么些东西要掌握
转载
2024-06-11 20:39:34
37阅读
