一、准备工作1. 预备安装包我将需要的包全部放到百度盘里了 ： 链接: https://pan.baidu.com/s/1NHxweoK7zYf5hqP1aLIHAw 提取码: ip4c hadoop-2.8.5.tar.gz、hbase-2.1.1-bin.tar.gz、apache-hive-2.3.4-bin.tar.gz、jdk-8u102-linux-x64.tar.gz、mysql-c
1.在Hive里面创建一个表：hive> create table wyp(id int,
> name string,
> age int,
> tele string)
> ROW FORMAT DELIMITED
> FIELDS TERMINATED BY ‘\t‘
> STORED AS TEXTFILE;
OK
Time taken: 0.75
转载
2023-08-08 13:03:29
78阅读
1. 创建HBase 表create 'hbase_test','user'2. 插入数据put 'hbase_test','111','user:name','jack'put 'hbase_test','111','user:age','18'查看HBase3. 创建Hive外部表关联Hbasecreate external table hbase_test1(id int,name stri
转载
2023-07-20 18:08:42
113阅读
Hive介绍Hadoop开发存在的问题只能用java语言开发，如果是c语言或其他语言的程序员用Hadoop，存 在语言门槛。 需要对Hadoop底层原理，api比较了解才能做开发。Hive概述Hive是基于Hadoop的一个数据仓库工具。可以将结构化的数据文件映射为 一张表，并提供完整的sql查询功能，可以将 sql语句转换为 MapReduce任 务进行运行。其优点是学习成本低，可以通过类 SQ
转载
2023-07-13 16:35:38
99阅读
目录1、前言2、环境配置3、创建映射表4、条件查询5、动态写入或多个index6、写入任务数控制7、常用参数介绍8、错误总结更多文章请关注公众号：1、前言工作中经常遇到需要从Elasticserch中读取或者写入的需求。本篇文章我们将介绍如何通过hive来读写Elasticserch，像操作hive本地表一样来对ES的数据进行读写操作，方便我们数据开发。2、环境配置hive集成ES需要添加对应的类
转载
2023-07-13 21:13:51
360阅读
Hive 概念Hive 由 Facebook 实现并开源是基于 Hadoop 的一个数据仓库工具可以将结构化的数据映射为一张数据库表并提供 HQL(Hive SQL)查询功能底层数据是存储在 HDFS 上Hive 的本质是将 SQL 语句转换为 MapReduce/Spark 任务运行使不熟悉 MapReduce 的用户很方便地利用 HQL 处理和计算 HDFS 上的结构化的数据，适用于离线的批量
转载
2023-07-12 10:49:54
82阅读
依赖条件已有Hadoop、Hive、Zookeeper、HBase 环境。为什么Hive要映射HbaseHBase 只提供了简单的基于 Key 值的快速查询能力，没法进行大量的条件查询，对于数据分析来说，不太友好。hive 映射 hbase 为用户提供一种 sqlOnHbase 的方法。Hive 与 HBase 整合的实现是利用两者本身对外的 API 接口互相通信来完成的，其具体工作交由 Hive
转载
2023-09-01 08:11:06
73阅读
1、在E-MapReduce上创建基于OSS的Hive外部表样例：
hive> show create table oss_share_feedback;
OK
CREATE EXTERNAL TABLE `oss_share_feedback`(
`uid` string,
`os` string,
`source_id` str
一、简介1、定义分布式、可扩展、支持海量数据存储的NoSQL数据库2、数据模型2.1逻辑结构 2.2物理存储结构 2.3数据模型介绍Name Space：相当于数据库，包含很多张表Region：类似于表，定义表时只需要声明列族，不需要声明具体的列。【字段可以动态、按需指定】Row：每行数据按RowKey字典序存储，且只能根据RowKey检索Column：由Column Fami
转载
2023-08-24 11:30:19
98阅读
1评论
# Hadoop域名映射的实现指南
在大数据处理领域，Hadoop是一个极为重要的框架，而域名映射则是实现Hadoop集群访问的重要步骤。对于刚入行的小白来说，可能会对这一过程感到困惑。本文将详细介绍如何实现Hadoop域名映射，并为你提供必要的代码示例和说明。
## 流程概览
下面是实现Hadoop域名映射的基本步骤：
| 步骤 | 描述 |
|------|------|
| 1
初始Hadoop google的三篇论文(GFS,MapReduce,BigTable)很快促进了hadoop的面世，hadoop实际上起源于Nutch项目，于2006年2月正式启动，2008年开始hadoop正式火起来了。 Apache Hadoop和Hadoop 生态系统Common：一系列组件和接口，用于分布式文件系统和通用I/O Avro : 一种序列化系统，用于支持高效，
转载
2023-07-12 11:15:11
95阅读
一、Hive基本概念1、概念
Hive：由Facebook开源用于解决海量结构化日志的数据统计。
Hive是基于Hadoop的一个数据仓库工具，可以将结构化的数据文件映射为一张表，并提供类SQL查询功能。 本质是：将HQL转化成MapReduce程序 HQL转化成MapReduce （1）Hive处理的数据存储在HDFS（2）Hive分析数据底层的实
转载
2023-08-30 19:26:13
71阅读
目录标题1、Hadoop是什么2、Hadoop发展历史3、Hadoop优势4、Hadoop组成4.1 HDFS4.2 YARN4.3 MapReduce架构概述4.4 HDFS、YARN、MapReduce 三者关系5、大数据技术生态系统6、推荐系统的框架图 1、Hadoop是什么1）Hadoop是一个由Apache基金会所开发的分布式系统基础架构。 2）主要解决，海量数据的存储和海量数据的分析
转载
2023-07-12 11:15:50
61阅读
目录一、概述1）Impala优点2）Impala缺点二、Impala架构1）Impala组件组成1、Client2、Impalad3、Statestore4、Catalog5、数据存储服务2）Impalad服务的三种角色3）Impala运行原理1、启动服务时执行的操作2、查询SQL的运行流程3、数据计算流程三、Impala环境部署（CDH集成）1）添加服务2）自定义角色分配3）审核更改4）安装完成
转载
2023-05-29 10:29:22
125阅读
Hadoop是一个分布式计算的开源框架，包含三大核心组件：HDFS（Hadoop Distributed System分布式文件系统）、HIVE（数据仓库工具）、HBASEHDFSHDFS是Hadoop生态圈最基础的存储引擎，请注意HDFS的设计主要为大文件存储，为高吞吐量的读取和写入服务，HDFS不适合存储小文件，也不支持大量的随机读写。Hive专门处理存储在HDFS数据仓库工具，通过Hive可
转载
2023-08-16 06:28:07
58阅读
前言文本已收录至我的GitHub仓库，欢迎Star：https://github.com/bin392328206/six-finger种一棵树最好的时间是十年前，其次是现在叨絮hadoop 完成之后，就是hive了。。今天我们就来看看hive小六六学大数据之 Hadoop(一)小六六学大数据之 Hadoop(二)什么是 HiveHive：由 Facebook 开源用于解决海量结构化日志的数据统计
转载
2023-09-08 19:09:54
60阅读
文章目录1 Apache Hive概述1.1 为什么使用Hive：1.2 Hive和hadoop的关系2 如何实现Hive功能3 Apache Hive架构、组件4 Apache Hive数据模型4.1 Data Model4.2 Databases 数据库4.3 Tables 表4.4 Partitions 分区4.5 Buckets 分桶4.6 Hive和Mysql比较5 Hive安装部署5
Hadoop集群搭建之Hive安装1. 准备工作准备好已经安装了Hadoop的集群服务器之后，需要在其中一台中安装MySQL数据库，安装可以参考CentOS7安装MySQL5.7这篇文章。下载Hive的安装包并上传至其中一台服务器中，下载地址2. Hive本地安装1. 安装目录规划统一安装路径：/opt/modules
统一软件存放路径：/opt/software2. 上传压缩包1. 将压缩包上传
转载
2023-09-08 20:32:19
28阅读
Hadoop是一个开发和运行处理大规模数据的平台，实现在多台计算机组成的集群中对海量数据进行分布式计算。hadoop框架最核心的部分是hdfs和mapreduce。hdfs提供了海量数据的存储，mapreduce提供了对数据的计算。hadoop处理海量数据，需要hbase做数据库，hbase是面向列的分布式数据库，使用集群环境的内存做处理，但是不支持sql语句，所以操作和计算数据非常不方便，于是整
转载
2023-05-23 10:18:18
61阅读
1、什么是Hive?是一个基于hadoop的数据仓库工具，可以将结构化数据映射成一张数据表，并提供类SQL的查询功能。2、Hive的意义（最初研发的原因）降低使用hadoop的难度
降低学习成本3、Hive的内部组成模块，作用分别是什么解释器:解释 SQL 语句
编译器:将sql语句转化成 MR
优化器: 优化 MR
执行器:将优化过的MR提交到集群4、Hive支持的数据格式TextFile
转载
2023-07-14 23:26:26
28阅读
