目录导读Hadoop、Hive 是什么运行环境hive-env.shhive-site.xmlcore-site.xmlhdfs-site.xmlmapred-site.xmlyarn-site.xmlhadoop-env.cmdJava 环境Mysql下载 Hadoop、Hive 和 驱动安装 Hadoop启动 Hadoop安装 Hive配置 Hive运行 Hive连接到 Hive导读最近一个数
转载
2024-07-22 10:43:28
37阅读
://.cnblogs.com/gpcuster/archive/2010/02/24/1672635.htmlHive是一个基于Hadoop的数据仓库平台。通过hive，我们可以方便地进行ETL的工作。hive定
转载
2011-11-09 12:35:00
77阅读
2评论
讨论一：先来谈谈企业搭建大数据分析平台的背景。1、搭建大数据平台离不开BI。在大数据之前，BI就已经存在很久了，简单把大数据等同于BI，明显是不恰当的。但两者又是紧密关联的，相辅相成的。BI是达成业务管理的应用工具，没有BI，大数据就没有了价值转化的工具，就无法把数据的价值呈现给用户，也就无法有效地支撑企业经营管理决策；大数据则是基础，没有大数据，BI就失去了存在的基础，没有办法快速、实时、高效地
转载
2023-10-20 07:41:18
298阅读
Hadoop平台的搭建流程之单机/伪分布配置所需工具：VMware Workstation / Virtual Box 虚拟机; Hadoop安装文件；实验环境：Ubuntu 32位或64位系统 / CentOS系统；ps:该实验教程采用Ubuntu 64位系统进行讲解。 Ubuntu安装系统：请参考http://dblab.xmu.edu.cn/blog/337-2/ 如果使用CentO
转载
2024-02-05 15:03:47
55阅读
前面一路从hadoop、spark、zookeeper、kafka等集群搭建而来，大数据生态环境已经初步形成，下面要继续来搭建大数据生态中很重要的Hive集群。 一、Hive简介 Hive 是基于 Hadoop 的一个数据仓库工具，可以将结构化的数据文件映射为一张数据库表，并提供完整的 SQL 查询功能，将类 SQL 语句转换为 MapReduce 任务执行。 二、环境准备 hadoop-
转载
2023-07-14 12:57:41
105阅读
1.定义 Apache Hive数据仓库软件便于读，写和管理大型数据集驻留在分布式存储使用SQL。 结构可以投影到存储中的数据上。 客户端的连接方式可采用：command line 和 JDBC Driver。注意：Hive实质就是客户端，不存在主从结构，搭建过程没有集群概念。2.搭建Hive 前提： a.Hadoop集群搭建完成！
转载
2023-07-03 21:22:08
71阅读
大数据技术之 Hive第 1 章 Hive 基本概念1.1 什么是 Hive1） hive 简介Hive：由 Facebook 开源用于解决海量结构化日志的数据统计工具。Hive 是基于 Hadoop 的一个数据仓库工具，可以将结构化的数据文件映射为一张表，并 提供类 SQL 查询功能。2） Hive 本质：将 HQL 转化成 MapReduce 程序SQL—Mapreduce（1）Hive 处理
转载
2023-07-21 16:24:13
120阅读
一、Apache Hive简介官方网址：https://hive.apache.org/The Apache Hive ™ data warehouse software facilitates reading, writing, and managing large datasets residing in distributed storage using SQL. Structure can
转载
2024-01-26 18:10:59
98阅读
Hive hive是简历再hadoop上的数据库仓库基础架构，它提供了一系列的工具，可以用来进行数据提取转化加载（ETL），这是一种可以存储，查询和分析存储再hadoop种的大规模数据机制，hive定义了简单的类sql查询语音，称为QL，它允许熟悉sql的用户查询数据，同时， 这个语言也允许熟悉ma
原创
2021-07-27 16:45:21
148阅读
目录一、删除原版本5.7MySQL二、安装5.8版本MySQL1、准备以下mysql包2、新建mysql文件夹 3、上传安装包4、rpm下载5、启动mysql服务 6、修改密码 三、配置Hive元数据保存到MySQL1、删除原版本mysql驱动2、上传新版本驱动 3、修改$HIVE_HOME/conf/hive-site.xml4、登录mqsql，创建元数据
转载
2024-02-20 13:54:48
133阅读
前提条件：
下载：https://mirrors.cnnic.cn/apache/hive/
安装了hadoop集群，
1．解压缩hive的软件包，使用命令：
tar -zxvf hive-3.1.0-bin.tar.gz
**2．进入hive的配置目录. 编辑/usr/local/data/hive-3.1.0/conf/hive-site.xml **
添加配置文件：
<?xml
原创
2024-04-22 09:48:53
21阅读
云计算到目前为止架构主要可分为四层，首先：显示层，多数据中心云计算架构这层主要是用于以友好的方式展现用户所需的内容，并会利用到下面中间件层提供的多种服务，主要有五种技术：HTML：标准的Web页面技术，现在主要以HTML4为主，但是将要推出的HTML5会在很多方面推动Web页面的发展，比如视频[1]和本地存储等方面。JavaScript：一种用于Web页面的动态语言，通过JavaScript，能够
转载
2023-08-10 16:26:48
292阅读
应用Python Django搭建web版简单易用的Mock平台的记录，本项目从立项到发布用时一周半。
为什么做这个平台？ 归结起来搭建这个平台是个事件驱动的结果，因为工作中需要与外部系统交互，这句话说来简单，其实是一件很痛苦的事情，沟通需要花费大量的时间，还
转载
2024-02-24 19:23:17
81阅读
1、搭建环境部署节点操作系统为CentOS，防火墙和SElinux禁用，创建了一个shiyanlou用户并在系统根目录下创建/app目录，用于存放Hadoop等组件运行包。因为该目录用于安装hadoop等组件程序，用户对shiyanlou必须赋予rwx权限(一般做法是root用户在根目录下创建/app目录，并修改该目录拥有者为shiyanlou(chown –R shiyanlou:shiyanl
转载
2024-07-23 09:40:04
204阅读
Hive基础简介关于HiveHive是什么Hive是一个数据仓库基础工具在Hadoop中用来处理结构化数据。它架构在Hadoop之上，总归为大数据，并使得查询和分析方便。最初，Hive是由Facebook开发，后来由Apache软件基金会开发，并作为进一步将它作为名义下Apache Hive为一个开源项目。归纳如下：是基于 Hadoop 的一个数据仓库工具；可以将结构化的数据映射为一张数据库表；并
转载
2023-08-18 23:10:02
133阅读
一.前述Hive中搭建分为三中方式 a)内嵌Derby方式 b)Local方式 c)Remote方式 三种方式归根到底就是元数据的存储位
原创
2022-12-30 16:53:36
213阅读
记录一下使用docker快速搭建部署hive环境
记录一下使用docker快速搭建部署hive环境目录写在前面步骤安装docker安装docker安装docker-compose配置docker国内镜像源（可选）安装git & 配置github部署Hivedocker-hive开始部署使用Hive命令行收尾工作安装vi、lrzsz关闭相关命令EN
转载
2023-07-18 18:45:35
114阅读
3.1. 1 Nagios监控平台搭建Nagios是一款开源的免费网络监视工具，能有效监控Windows、Linux和Unix的主机状态，交换机路由器等网络设置，打印机等。在系统或服务状态异常时发出邮件或短信报警第一时间通知网站运维人员，在状态恢复后发出正常的邮件或短信通知。Nagios和cacti有什么区别呢？简单的来说cacti主要监控流量，服务器状态页面展示；nagios主要监控服
转载
2024-05-21 16:31:04
82阅读
最近越来越多的公司随着公司的发展，迫切需要进行变现；一些以前的朋友、同学也在进入商化相关的方向，经常断断续续的询问商化相关的，那我就以写文章的方式记录下来吧，和大家分享一下
随着互联网的发展，流量变现是每个公司需要考虑的问题，蘑菇街作为垂直女性电商领域，我们有哪些变现方式，如何去搭建广告系统，接下来就带大家一起来看一下广告系统的基本构成，通过讲解一个商品在广告系统中的投放
转载
2023-12-27 15:13:38
62阅读
一、创建hadoop用户及目录1 创建用户
[root@hadoop000 ~]# useradd hadoop
2 设置密码
[root@hadoop000 ~]# passwd hadoop
3 切换用户 hadoop
[root@hadoop000 ~]# su - hadoop
[hadoop@hadoop000 ~]$ pwd
/home/hadoop
4 创建目录
[hadoop
