# Hive基础架构原理
Hive是建立在Hadoop之上的数据仓库工具，它提供了类似SQL的查询语言HiveQL，将用户的查询转换为MapReduce任务来执行。在Hive的基础架构中，主要包括了Metastore、Driver、Compiler、Query Executor、HDFS等几个重要组件。本文将介绍Hive的基础架构原理，并通过代码示例来说明其工作流程。
## Hive基础架构组
原创
2024-04-09 03:59:49
34阅读
系统架构演化历程It架构经过几十年的发展，大致经历了以下几个阶段：Level-1：初始阶段架构：应用程序、数据库、文件等所有的资源都在一台服务器Level-2：应用服务和数据服务分离Level-3：使用数据库缓存改善性能Level-4：使用应用服务器集群Level-5：数据库读写分离Level-6：反向代理和CDN加速Level-7：分布式文件系统和分布式数据库Level-8：使用NoSQL和搜索
转载
2023-07-07 09:44:26
105阅读
本文探讨Elasticsearch的数据请求、路由和写入过程的原理，主要涉及ES的分布式存储架构、节点和副本的写入过程、近实时搜索的原因、持久化机制等。
本文探讨Elasticsearch的数据请求、路由和写入过程的原理，主要涉及ES的分布式存储架构、节点和副本的写入过程、近实时搜索的原因、持久化机制等。4.1 ES存储架构我们经常说，看一件事情千万不要
转载
2023-06-30 17:49:01
373阅读
1.Zookeeper的概述Apache Zookeeper是一个可靠高效的分布式应用的协调服务系统，主要解决分布式系统存在的一些通用问题。比如分布式集群管理、集群选举、配置中心、统一命名服务、分布式锁（同步锁）等问题2.Zookeeper架构Zookeeper关键词：一致、有头、数据树1.ZAB协议ZAB（ Zookeeper Atomic Broadcast）Zookeeper原子广播协议，Z
转载
2024-01-06 09:03:44
44阅读
kubernetes简称“k8s” 其中“8”代表的是“k”和“s”中间的8个字母。 k8s是Google公司开发的Borg项目中独立出来的容器编排工具，然后将其捐献给CNCF这个组织，然后发扬光大。 Kubernetes主要由以下几个核心组件组成： etcd保存了整个集群的状态； apiserve
原创
2022-01-10 13:29:35
304阅读
1.MySQL基础 MySQL是一个开放源代码的关系数据库管理系统。原开发者为瑞典的MySQL AB公司，最早是在2001年MySQL3.23进入到管理员的视野并在之后获得广泛的应用。 2008年MySQL公司被Sun公司收购并发布了首个收购之后的版本MySQL5.1，该版本引入分区、基于行复制以及p
推荐
原创
2014-01-14 01:11:35
10000+阅读
点赞
1评论
1.MySQL基础
MySQL是一个开放源代码的关系数据库管理系统。原开发者为瑞典的MySQL AB公司，最早是在2001年MySQL3.23进入到管理员的视野并在之后获得广泛的应用。 2008年MySQL公司被Sun公司收购并发布了首个收购之后的版本MySQL5.1，该版本引入分区、基于行复制以及plugin API。移除了原有的BerkeyDB引擎，同时，Oracle收购InnoDB Oy发布
转载
2014-09-24 14:54:00
83阅读
2评论
原始出处：
http://harisxiong.blog.51cto.com/7513022/1351370
1.MySQL基础 MySQL是一个开放源代码的关系数据库管理系统。原开发者为瑞典的MySQL AB公司，最早是在2001年MySQL3.23进入到管理员的视野并在
原创
2023-09-20 13:43:14
94阅读
在linux系统中，LNMP是目前网站主流架构之一，LNMP中L指linux系统平台，N是nginx指网站的前端程序，发布静态页面和调用外部程序解析动态页面，M是mysql指网站的后台数据库，P是PHP指网页编程语言。LNMP工作原理如下图所示：  
转载
2023-07-10 11:41:48
75阅读
一、概述1、基本概述Zookeeper是一个开源的分布式的，为分布式应用提供协调服务的Apache项目。Hadoop和Hbase的重要组件。它是一个为分布式应用提供一致服务的软件。 2、zk提供了什么虽然可以用zk实现很多功能，但是实际上zk只提供了三个东西：文件系统、通知机制、集群管理机制。（1）文件系统zk的存储的数据的结构，类似于一个文件系统，结构如下：每个节点称为znode，每个
转载
2023-09-18 00:15:58
515阅读
前言kafka是一个分布式消息队列。具有高性能、持久化、多副本备份、横向扩展能力。生产者往队列里写消息，消费者从队列里取消息进行业务逻辑。一般在架构设计中起到解耦、削峰、异步处理的作用。kafka对外使用topic的概念，生产者往topic里写消息，消费者从读消息。为了做到水平扩展，一个topic实际是由多个partition组成的，遇到瓶颈时，可以通过增加partition的数量来进行横向扩容。
转载
2023-07-07 22:27:36
55阅读
1.MySQL 基础
MySQL 是一个开放源代码的关系数据库管理系统。原开发者为瑞典的 MySQL AB 公司，最早是在 2001 年 MySQL3.23 进入到管理员的视野并在之后获得广泛的应用。 2008 年 MySQL 公司被 Sun 公司收购并发布了首个收购之后的版本 MySQL5.1 ，该版本引入分区、基于行复制以及plugin API 。移除了原有的 BerkeyDB
转载
2016-04-26 11:09:00
55阅读
2评论
前言HDFS 是一个能够面向大规模数据使用的。可进行扩展的文件存储与传递系统。是一种同意文件通过网络在多台主机上分享的文件系统，可让多机器上的多用户分享文件和存储空间。让实际上是通过网络来訪问文件的动作。由程序与用户看来，就像是訪问本地的磁盘一般。即使系统中有某些节点脱机，总体来说系统仍然能够持续运作而不会有数据损失。一、HDFS体系结构1、Namenode Namenode是整个文件系统的管理
转载
2023-08-26 11:42:58
71阅读
mysql基本用法原文网址:MySQL(一)：基本原理SQL 语句执行过程 数据库通常不会被直接使用，而是由其他编程语言通过SQL语句调用mysql，由mysql处理并返回执行结果。那么Mysql接受到SQL语句后，又是如何处理的呢？ 首先程序的请求会通过mysql的connectors与其进行交互，请求到处后，会暂时存放在连接池（connectio
转载
2023-07-14 18:29:09
55阅读
计算机网络的基础架构与简单概述计算机网络从构成的角度来看计算机网络从服务的角度来看计算机网络Internet从结构的角度来看Internet从服务的角度来看Interneteverything over IP over everything？QUIC协议 计算机网络简单定义：由点+边+协议构成。点指的是网络上的端系统及网络应用，边指的是连接端点的链路，协议是指对等层实体在通信过程中遵守的规则集合
转载
2023-08-30 18:58:41
19阅读
无论是Dubbo还是Dubbox，包括在网上介绍的其他框架，其本质都是远程调用框架，而对于远程调用如果没有分布式的需求，其实是不需要用这么重的框架，只有在分布式的时候，才有Dubbo这样的分布式服务框架的需求，说白了就是个远程服务调用的分布式框架，其重点在于分布式的治理。那Dubbox这样的框架在分布式治理方面带来了哪些核心功能呢？1 Dubbo核心功能Remoting：远程通讯，提供对多种NIO
转载
2024-05-29 06:56:32
23阅读
