Hadoop开发存在的问题只能用java语言开发，如果是c语言或其他语言的程序员用Hadoop，存在语言门槛。需要对Hadoop底层原理，api比较了解才能做开发。Hive概述Hive是基于Hadoop的一个数据仓库工具。可以将结构化的数据文件映射为一张表，并提供完整的sql查询功能，可以将sql语句转换为MapReduce任务进行运行。其优点是学习成本低，可以通过类SQL语句快速实现MapRed
转载
2023-07-12 12:47:39
34阅读
HIve入门之Hive架构原理 图6-1 Hive架构原理1．用户接口：ClientCLI（hive shell）、JDBC/ODBC(java访问hive)、WEBUI（浏览器访问hive）2．元数据：Metastore元数据包括：表名、表所属的数据库（默认是default）、表的拥有者、列/分区字段、表的类型（是否是外部表）、表的数据所在目录等； 默认存储在自带的derby数据库中，推荐使用M
转载
2023-06-20 00:37:45
92阅读
本文是作者obuil根据多年心得专门为想要入门的VR开发者所写，由52VR网站
转载
2022-12-16 23:05:41
524阅读
ARP 我们知道，当我们在浏览器里面输入网址时，DNS服务器会自动把它解析为IP地址，浏览器实际上查找的是IP地址而不是网址。那么IP地址是如何转换为第二层物理地址（即MAC地址）的呢？在局域网中，这是通过ARP协议来完成的。ARP协议对网络安全具有重要的意义。通过伪造IP地址和MAC地址实现 ARP欺骗，能够在网络中产生大量的ARP通信量使网络阻塞。所以网管们应深入理解ARP协议。
一、什么
原创
2008-11-24 20:00:23
479阅读
将宕机的master下线找一个salve作为master通知所有的slave连接新的master启动新的Master与slave全量复制N+部分复制N谁来确认master宕机了找一个？怎么找法修改配置后，原始的主恢复了怎么办？哨兵简介哨兵(sentinel)是一个分布式系统，用于对主从结构中的每台服务器进行监控，当出现故障时通过投票机制选择新的master并将所有slave连接到新的master哨
原创
精选
2020-06-08 17:20:20
3169阅读
Hive是基于Hadoop的一个数据仓库工具，可以将结构化的数据文件映射为一张表，并提供类SQL（HQL）查询功能。Hive是将HQL转化为MapReduce程序，Hive处理的数据存储在HDFS上，执行程序运行在Yarn上。由于执行的是MapReduce程序，延迟比较高（还有一个重要的原因是，没有索引而需要扫描整个表），因此Hive常用于离线的数据分析。Hive架构图Client：用户接口 CL
转载
2023-07-10 16:51:18
48阅读
Hive 速览 文章目录Hive 速览1 Hive基本概念1.1 HQL 转换 MR 流程1.2 Hive 优缺点1.2.1 优点1.2.2 缺点1.3 Hive 架构原理1.4 Hive运行机制1.5 数据更新1.6索引2 启动Hive服务1.使用元数据访问hive服务2.使用 JDBC 访问 hive3 Hive数据类型3.1 基本数据类型3.2 集合数据类型案例实操：集合数据访问方式4 DD
为了降低系统资源消耗、提高系统响应速度、方便线程并发数的管控，线程池应运而生。很多初学Java的人不了解Java线程池的分类及应用原理，接下来就给大家简单讲解一下。Java线程池是什么？线程池是一种多线程处理形式，处理过程中将任务添加队列，然后在创建线程后自动启动这些任务，每个线程都使用默认的堆栈大小，以默认的优先级运行，并处在多线程单元中。如果某个线程在托管代码中空闲，则线程池将插入另一个辅助线
转载
2020-02-22 15:28:47
460阅读
前言日常开发中位运算不是很常用，但是巧妙的使用位运算可以大量减少运行开销，优化算法。举个例子，翻转操作比较常见，比如初始值为1，操作一次变为0，再操作一次变为1。可能的做法是使用三木运算符，判断原始值为1还是0，如果是1，设置为0，否则设置为0.但是使用位运算，不用判断原始值，直接改变值就可以：1^num//num为原始值当然，一条语句可能对代码没什么影响，但是在高重复，大数据量的情况下将会节省很
原创
2021-05-25 00:13:10
781阅读
XListview是一个非常受欢迎的下拉刷新控件，但是已经停止维护了。之前写过一篇XListview的使用介绍，用起来非常简单，这两天放假无聊，研究了下XListview的实现原理，学到了很多，今天分享给大家。 提前声明，为了让代码更好的理解，我对代码进行了部分删减和重构，如果大家想看原版代码，请去github自行下载。 Xlistview项目主要是三部分：XlistV
原创
2023-05-09 11:47:27
156阅读
机会可以调整自己的体型，使之恢复青春、美丽与健康，那
转载
2022-09-23 20:55:24
110阅读
一个非常受欢迎的下拉刷新控件，但是已经停止维护了。之前写过一篇XListview的使用介绍，用起来非常简单，这两天放假无聊，研究了下XListview的实现原理，学到了很多，今天分享给大家。 提前声明，为了让代码更好的理解，我
转载
2022-12-16 16:25:55
76阅读
官方描述The Apache Hive™ data warehouse software facilitates reading, writing, and managing large datasets residing in distributed storage and queried using SQL syntax.Apache Hive 数据仓库软件有助于读、写和管理驻留在分布式存储中
原创
2022-04-20 14:55:54
1040阅读
1.Hive原理Hive是构建在Hadoop上的
转载
2022-06-08 06:14:16
531阅读
1 文章讲解范围说明 gc五花八门，范围特别广，此篇文章只讲解 spring boot + jdk 1.8 相关的gc知识2 spring boot + jdk 1.8 gc参数 -XX:+UseParallelGC 虚拟机运行在Server模式下的默认值，使用Parallel Scavenge + Serial Old ( PS MarkSweep) 的收集器组合进行内存回收1 gc分类 新生代收集器2...
原创
2021-09-04 11:40:28
538阅读
一、Hive架构图二、架构组成（1）、用户接口：Client CLI（command-line interface）、JDBC/ODBC(jdbc 访问 hive)、WEBUI（浏览器访问 hive） （2）、元数据：Metastore 元数据包括：表名、表所属的数据库（默认是 default）、表的拥有者、列/分区字段、 表的类型（是否是外部表）、表的数据所在目录等； 默认存储在自带的 derb
转载
2023-07-10 16:03:47
132阅读
HIVE架构和原理1.hive的架构简介2.Hive的工作原理 1.hive的架构简介 从上图可以看出，Hive的体系结构分为以下几部分：1.用户连接接口
CLI：是指Shell命令行
JDBC/ODBC：是指Hive的java实现，与传统数据库JDBC类似。
WebUI：是指可通过浏览器访问Hive
2.thriftserver:
hive的可选组件，此组件是一个软件架构服务，允许客户端
转载
2023-09-18 16:17:27
85阅读
最近整理了下自己以前的笔记，对Hive整体运行流程做了一些总结。一、Hive简介和原理 1)Hive起源 Hive起源于FACEBOOK，由FACEBOOK的几名员工共同提出。最早提出的Hive概念来源于以下论文Hive——A Wa
转载
2023-08-16 16:51:05
247阅读
第1章 SSH服务介绍说明1.1 SSH服务介绍SSH（22端口）是Secure Shell Protocol的简写，由IETF网络工作小组（Network Working Group）制定；在进行数据传输之前，SSH先对联机数据包通过加密技术进行加密处理，加密后在进行数据传输。确保了传递的数据安全。SSH是专为远程登录会话和其他网络服务提供的安全性协议。利用SSH协议可以有效
原创
精选
2018-01-31 18:48:57
10000+阅读
点赞
4评论
一、概述 RPC(Remote Procedure Call Protocol)-远程过程调用协议。通过网络从远程计算机程序上请求服务，而不需要了解底层网络技术的协议。它假定某种传输协议的存在，如TCP，UDP，为通信程序之间携带信息数据，RPC是hadoop框架运行的基础，如果想精通Hadoop源码，RPC通信机制肯定是回避不了的，这里就先讲解下原理，然后通过一个简单实例来帮助你理解。
原创
2021-03-10 09:38:14
596阅读
