注：先看hive编译文档，使用编译好的安装包进行部署 官方的hive3.1.4和sprk3.0.0不兼容，需要重新编译。 后面配置hive on spark 可以使用spark2.3.0。而spark2.3.0对应的hadoop版本是2.x。 重新编译，参考本人写的另一篇文章 hive3.1.4源码编译 兼容spark3.0.0 hive on spark 升级guava版本兼容had
转载
2024-06-24 00:29:45
45阅读
# Hive 高可用配置（不使用 Zookeeper）
在大数据处理领域，Hive 是一个用于数据仓库的工具，它可以在 Hadoop 之上提供一种 SQL 风格的查询语言。为了实现 Hive 的高可用性，通常建议使用 Zookeeper，但在某些场合下，我们可能会希望避免使用 Zookeeper。本文将带你一步步了解如何在不注册 Zookeeper 的情况下实现 Hive 的高可用配置。
##
原创
2024-10-18 08:31:45
84阅读
消息中间件部署及比较：rabbitMQ、activeMQ、zeroMQ、rocketMQ、Kafka、redis 一发一存一消费，没有最好的消息队列中间件(简称消息中间件)，只有最合适的消息中间件。消息队列常用的使用场景：
非实时性：当不需要立即获得结果，但是并发量又需要进行控制的时候，差不多就是需要使用消息队列的时候。主要解决了应用耦合、异步处理、流量削锋等问题。
应用耦合：多
1.文档编写目的
之前Fayson介绍了《如何使用HAProxy实现HiveServer2负载均衡》，这种方案也有一些弊端，如HAProxy本身就是单点，虽然可以通过Keepalived来实现HAProxy的高可用，但这样配置会比较麻烦并且需要多部署两个组件，增大了系统运维的复杂度。在大数据平台中Zookeeper是一个必不可少且自身具有高可用保证的组件，本文主要讲述如何使用Zookeep
转载
2021-08-03 15:15:06
1859阅读
本文是 Choerodon 的微服务之路系列推文第三篇。在上一篇《
Choerodon的微服务之路（二）：微服务网关》中，介绍了Choerodon 在搭建微服务网关时考虑的一些问题以及两种常见的微服务网关模式，并且通过代码介绍了Choerodon 的网关是如何实现的。本篇文章将介绍Choerodon 的注册中心，通过代码的形式介绍 Choerodon 微服务框架中，是如何来实现服
转载
2024-10-31 22:42:01
47阅读
前言对于 MySQL 数据库作为各个业务系统的存储介质，在系统中承担着非常重要的职责，如果数据库崩了，那么对于读和写数据库的操作都会受到影响。如果不能迅速恢复，对业务的影响是非常大的。之前 B 站不是出过一次事故么，2 小时才恢复过来，详细可以看之前写的文章。一、方案选择对于 MySQL 的高可用，主要分为两步，配置 MySQL 主主模式和 keepalived 软件。拓扑图如下所示：MySQL
转载
2023-10-04 18:29:48
131阅读
Mysql专栏收尾之作，作为一名后端开发人员，对于Mysql的知识了解到这里已经足以应对99的场景了，毕竟没有必要非要跟DBA抢活儿干。而且现在的趋势都是往云上走，云数据库已经帮我们处理了高可用和数据一致性的事情了，所以当扩展知识了解就好，实际应用场景几乎没有，在本篇文章中并没有给出具体的配置实现。Mysql热备Mysql自身提供了数据复制的方式-主从同步。 基于Mysql的主从同步，我们可以生成
转载
2023-10-09 10:42:30
71阅读
本次专题是 MySQL高可用方案选型，这个专题想必有很多同学感兴趣。高可用的意义以及各种不同高可用等级相应的停机时间我就不必多说了，直接进入主题。可选MySQL高可用方案MySQL的各种高可用方案，大多是基于以下几种基础来部署的：基于主从复制；基于Galera协议；基于NDB引擎；基于中间件/proxy；基于共享存储；基于主机高可用；在这些可选项中，最常见的就是基于主从复制的方案，其次是
转载
2023-11-22 15:01:34
161阅读
Git地址服务端实现代码路径：https://gitee.com/yicj/web-server1客户端实现代码路径：https://gitee.com/yicj/web-client1本文旨在实现一个简单的高可用方案。示例工程使用了Servlet模拟实现controller层对外提供服务，实际的项目中基本上都是SpringMVC的方式（或者Struts2）。当一个单体项目性能遇到瓶颈的时候，可以
转载
2024-06-05 08:21:00
68阅读
Hive 高可用配置与impala高可用1. HiveServer2高可用及Metastore高可用使用Zookeeper实现了HiveServer2的HA功能（ZooKeeper Service Discovery），Client端可以通过指定一个nameSpace来连接HiveServer2，而不是指定某一个host和portMetastore高可用原理： Hive Metastore客户端始
转载
2024-06-15 19:48:38
127阅读
文章目录前言一、Hive是什么？二、使用步骤1.环境准备2.集群规划2.Hive远程模式安装2.使用DBeaver图形化界面工具总结 前言Hive高可用部署 HiveServer2高可用（HA）Metastore高可用（HA）基于Apache hive 3.1.2提示：以下是本篇文章正文内容，下面案例可供参考一、Hive是什么？Hive是一个基于Hadoop的数据仓库工具，可以将结构化的数据文件
转载
2024-06-04 07:32:16
189阅读
前言ZooKeeper 是一个典型的分布式数据一致性解决方案，分布式应用程序可以基于 ZooKeeper 实现诸如数据发布/订阅、负载均衡、命名服务、分布式协调/通知、集群管理、Master 选举、分布式锁和分布式队列等功能。ZooKeeper功能很强大，但是在分布式项目中也会存在单点失败问题，所以为了实现服务的高可用，ZooKeeper的集群也是必不可少的。集群架构为了保证高可用，最好是以集群形
转载
2024-02-14 22:25:44
168阅读
在csdn上写博客也有一小段时间了，虽然没有多少流量，但是还是很开心的。因为在csdn上写属于自己的博客不仅能收获到一些志同道合的朋友，还能记录自己的成长，所以和乐而不为呢？本人接触编程这行差几天就一年了，在这快一年的时间里经历很多，从最开始的基础c语言到python再到html，js，数据库等，它们都见证了我的成长，虽然我现在学的都只是皮毛，但是路还很长，任重而道远！这次开学我就不在是哪个大一的
转载
2024-10-16 20:39:55
19阅读
综述/注意kafka-eagle 现名：EFAK githubeagle首页：http://192.168.19.53:8048/ admin 123456配置参数要用官网的，不要用书。书说可以自行打包，但是也可以直接下载。第1、2篇 安装部署zookeeperQuorumPeerMain是zookeeper核心进程[root@localhost ~]# /data/ddos2
转载
2024-07-11 04:55:20
91阅读
在上篇文章中我们介绍了关于协议的扩展,并了解扩展它所需要的需求.本篇主要是对注册中心的扩展进行着重的探索. 同样的问题,为什么我们需要去扩展注册中心的?主要有以下三个需求. (1) 多注册中心注册 需求：xx银行有些服务来不及在上海部署，只在北京部署，而上
转载
2024-09-20 17:10:44
32阅读
注：本文仅制作了函数来实现需要代码的直接翻到最后（看不见的是代码还在审核）相信大家非常熟悉这个界面： 这是一个基础的登录界面，当然，对应的还有注册界面：本文将在服务端的角度解释如何实现这两个功能注册想要登录，那就需要先注册。虽然可以肯定的是这两个功能都不是那么简单，但是我会带大家了解如何制作。创建文件存储密码在注册时，一定要有一个文件来储存注册信息的文件，这时候就需要json登场了，使用
# JavaMailSender 未注册问题及解决方法
在使用 Spring Framework 进行邮件发送时，JavaMailSender 是一个非常重要的组件。它提供了简单的 API 来发送电子邮件，支持各种邮件功能，包括 HTML 邮件、附件以及邮件的国际化等等。然而，有时我们会在使用 JavaMailSender 时遇到“未注册”的问题，导致邮件无法发送。本文将深入探讨 JavaMai
原创
2024-09-14 06:20:36
34阅读
polling下面包含了实现了基于轮询策略的select调用或其他类型的I/O轮询系统调用的基类。先看抽象类AbstractPollingIoAcceptor，成员如下： public abstract class AbstractPollingIoAcceptor<T extends AbstractIoSession, H> extends AbstractIoAcceptor
PS:
Active是对外提供服务的，standBy是从属备用的；但是他们是怎样保证同步的数据的呢？一个运行中zookeeper上的第三方那个工具 qJournal
PS:什么时候感知到服务挂了呢，进行切换呢？就是使用zkfc技术PS:namenode的安全模式PS:Ferdaration是就是由多个HDFS构成。一般用的比较少---------------------------Hi
转载
2023-12-11 17:24:18
141阅读
需求描述：
ucloud的hadoop大数据使用的hive不支持高可用，hive经常出问题，商务和其他业务同事通过hue或者zeeplin查询的时候经常不出结果，重启hive服务后就好了，过一段时间就又不行了，需要反复重启，比较头疼
在网上搜索了一下关于hive的高可用方案：
1.通过zookeeper对hive进行管理(后面测试发现不行，停用其中一台hiveserver2，zookeeper确
转载
2023-10-17 18:30:30
223阅读
