ELK即Elasticsearch、Logstash、Kibana,组合起来可以搭建线上日志系统，在目前这种分布式微服务系统中，通过ELK 会非常方便的查询和统计日志情况.ELK中各个服务的作用Elasticsearch:用于存储收集到的日志信息；Logstash:用于收集日志，应用整合了Logstash以后会把日志发送给Logstash,Logstash再把日志转发给Elasticsearch；
转载
2024-09-06 13:07:36
131阅读
# Docker搭建Hive
## 引言
Hive是建立在Hadoop之上的数据仓库基础架构，它提供了类SQL的查询语言，可以让开发者进行数据分析和处理。使用Docker搭建Hive可以方便地创建和管理Hive环境，提高开发效率。本文将介绍如何使用Docker搭建Hive环境，并帮助你快速上手。
## 准备工作
在开始之前，你需要确保已经安装了Docker和Docker Compose。如果你
原创
2023-09-28 23:28:15
295阅读
# 搭建Hive Docker
在数据处理领域，Hive 是一种开源的数据仓库工具，它可以方便地处理大规模数据集。而 Docker 是一种轻量级的容器化技术，使得我们可以更加便捷地部署和管理应用程序。本文将介绍如何搭建一个运行 Hive 的 Docker 容器。
## 第一步：准备Docker环境
首先，我们需要安装 Docker。可以根据官方文档 [Docker官方文档]( 进行安装。
原创
2024-07-14 04:32:23
46阅读
1.hive简介2.安装hive2.1 环境准备2.1.1 下载安装包2.1.2 设置hive用户的环境变量2.1.3 hive服务端配置文件2.1.4 hive客户端配置文件2.1.4 分发hive配置文件2.2 启动hive2.2.1 初始化数据库2.2.2 创建HDFS目录2.2.3 启动hive3.总结getting start: https://cwiki.apache.org/con
转载
2023-11-26 15:23:35
613阅读
Harbor 是一个基于 Apache 协议的开源软件，主要开发语言为 Go。Harbor 是由 VMware 公司开源的企业级的Docker Registry 管理项目，它包括权限管理(RBAC)、LDAP、日志审核、管理界面、自我注册、镜像复制和中文支持等功能，具有 web 管理功能。Docker 容器应用的开发和运行离不开可靠的镜像管理，虽然 Docker 官方也提供了公共的镜像仓库，但是从
转载
2023-07-21 17:01:17
52阅读
致读者： 博主是一名数据科学与大数据专业大三的学生，一个互联网新人，写博客一方面是为了记录自己的学习过程中遇到的问题和思考，一方面是希望能够帮助到很多和自己一样处于困惑的读者。 由于水平有限，博客中难免会有一些错误，有纰漏之处恳请各位大佬不吝赐教！之后会写大数据专业的文章哦。 GitHub链接https://github.com/wfy-belief尽管现在我的水平可能还不太及格，但我会尽我自己所
转载
2023-11-09 11:28:07
43阅读
1、搭建环境部署节点操作系统为CentOS，防火墙和SElinux禁用，创建了一个shiyanlou用户并在系统根目录下创建/app目录，用于存放Hadoop等组件运行包。因为该目录用于安装hadoop等组件程序，用户对shiyanlou必须赋予rwx权限(一般做法是root用户在根目录下创建/app目录，并修改该目录拥有者为shiyanlou(chown –R shiyanlou:shiyanl
转载
2024-07-23 09:40:04
204阅读
# 使用 Docker 搭建 Hive 容器的指南
在大数据处理的领域，Apache Hive 是一个非常流行的数仓工具，而 Docker 则为我们提供了一个方便、可控的运行环境。本文将带你一步一步实现通过 Docker 搭建 Hive 容器的过程。下面是我们将要遵循的流程。
## 流程概述
以下是搭建 Hive 容器的步骤流程：
| 步骤 | 操作
原创
2024-09-26 05:26:40
177阅读
# 使用Docker搭建Hive集群指南
在大数据的世界里，Apache Hive 是一个用于数据仓库的工具，能够在 Hadoop 分布式文件系统（HDFS）上进行数据查询和分析。使用 Docker 搭建 Hive 集群是一个很好的实践，可以让你快速地构建和测试 Hive 的功能。本文将详细阐述如何通过 Docker 搭建一个 Hive 集群，包括每个步骤所需的代码和解释。
## 流程概述
# 使用Docker搭建Hive环境
Apache Hive 是一个数据仓库工具，可以在Hadoop中进行数据分析。它提供了数据摘要、查询和报告功能。Hive使用类SQL语言（HiveQL）来操作数据，并能够处理结构化数据。近年来，Docker已成为构建和部署应用程序的流行工具，提供了轻量级的虚拟化环境。本文将介绍如何使用Docker快速搭建一个Hive环境。
## 环境准备
在开始之前，请
目录 一、环境和应用准备二、构建images三、搭建Hadoop集群 四、配置Hadoop集群五、安装Hive 一、环境和应用准备环境：centOS7安装包版本：apache-hive-3.1.2-bin.tarhadoop-2.7.7.tar.gzjdk-8u11-linux-x64.tar.gz mysql-connector-java 二、构
转载
2024-08-02 10:04:39
697阅读
一、概述Hive是什么？ Hive是一个数据仓库基础工具在Hadoop中用来处理结构化数据。它架构在Hadoop之上，总归为大数据，并使得查询和分析方便。最初，Hive是由Facebook开发，后来由Apache软件基金会开发，并作为进一步将它作为名义下Apache Hive为一个开源项目。它用在好多不同的公司。例如，亚马逊使用它在 Amazon Elastic MapReduce。 Hive
转载
2023-08-23 16:21:28
1493阅读
使用docker 5分钟搭建一个博客（mysql+WordPress）
目录一.系统环境二.前言三.搭建博客3.1 创建wordpress和mysql容器3.2 在wordpress界面设置个人博客信息3.3 WordPress容器创建命令的简化版本一.系统环境服务器版本docker软件版本CPU架构CentOS Linux release 7.4.17
转载
2023-08-16 17:04:38
297阅读
关于hiveHive是种基于Hadoop的数据仓库工具，将结构化的数据文件映射为一张数据库表，并提供类SQL查询功能。环境信息本文对应的环境信息如下：CentOS Linux release 7.5.1804JDK：1.8.0_191hadoop：2.7.7hive：1.2.2hadoop的部署和启动hadoop环境的部署和启动请参考《Linux部署hadoop2.7.7集群》；注意：确保环境变量
转载
2024-02-20 11:06:32
203阅读
本篇安装软件Hive1.2 hue-3.9.0-cdh5.14.0 Zookeeper3.4 Kafka2.11-0.10 redis3.0.0 elasticsearch-6.6.2 elasticsearch-7.17.3 elasticsearch-ik分词器 版本和安装es保持一致Hivehive不是个数据库!!!，它只是基于hadoop的一个提供sql化处理数据的工具而已，只是它和数据库
Docker系统有两个程序：docker服务端和docker客户端。其中docker服务端是一个服务进程，管理着所有的容器。docker客户端则扮演着docker服务端的远程控制器，可以用来控制docker的服务端进程。大部分情况下，docker服务端和客户端运行在一台机器上。1、安装docker，在centos中直接yum安装#yum install -y docker可以用docker ver
原创
精选
2018-01-23 10:12:00
10000+阅读
点赞
系列文章目录一、注册账号二、登录1.登录邮箱验证2.创建repository3.登录服务器linux docker logout 退出4.安装 kubectl如果你在 CentOS 上，你可以通过以下命令安装 kubectl：添加 Kubernetes YUM 存储库sudo vi /etc/yum.repos.d/kubernetes.repo将以下内容添加到文件中并保存：[kubernetes
转载
2024-10-25 21:17:58
52阅读
下载redis3.2镜像#dockerpullredis:3.2主dockerrun-d-ti--nethost--name6379\-v/usr/local/redis/data6379:/data\-v/usr/local/redis/redis6379.conf:/usr/local/redis/redis.conf\docker.io/redis:3.2\redis-server/usr/
原创
2018-12-30 10:02:22
2202阅读
# Docker搭建本地Hive环境教程
## 简介
在本教程中，我将向你展示如何使用Docker搭建本地Hive环境。首先，我们需要了解整个流程，然后逐步进行操作。我将使用表格展示每个步骤，并提供相应的代码和注释。
## 整体流程
```mermaid
flowchart TD
A(准备Docker环境) --> B(搜索Hive镜像)
B --> C(下载Hive镜像)
原创
2023-09-13 14:33:59
365阅读
一、docker命令方式部署1、创建数据挂载目录mkdir /data/gitlab/data
mkdir /data/gitlab/logs
mkdir /data/gitlab/config2、进入目录cd /data/gitlab/3、启动服务注意：这里使用的是不同的gitlab端口，在gitlab.rb配置需做修改docker run --detach \
--hostname gitla
