Harbor 是一个基于 Apache 协议的开源软件，主要开发语言为 Go。Harbor 是由 VMware 公司开源的企业级的Docker Registry 管理项目，它包括权限管理(RBAC)、LDAP、日志审核、管理界面、自我注册、镜像复制和中文支持等功能，具有 web 管理功能。Docker 容器应用的开发和运行离不开可靠的镜像管理，虽然 Docker 官方也提供了公共的镜像仓库，但是从
转载
2023-07-21 17:01:17
52阅读
目录1 安装环境1.1 服务器信息1.2 节点配置信息2 安装前准备2.1 安装DM8并初始化2.2 准备初始化数据2.3 主备节点服务器2.4 监视器服务器2.5 功能测试1 安装环境操作系统：CentOS Linux release 7.9.2009 x64硬盘空间：20G软件版本：DM8企业版1.1 服务器信息IP地址节点类型操作系统备注192.1
docker部署apache2 目录docker部署apache2**快速部署直接看命令就行：**1.启动ubuntu16.04容器2.设置docker镜像自动启动并且镜像内apache2服务自动启动 快速部署直接看命令就行：
docker run -itd -v /mnt:/mnt --name ubuntu16 -p 81:81 ubuntu:16.04开启docker容器
sudo dock
转载
2023-08-31 22:10:53
158阅读
# Docker搭建Hive
## 引言
Hive是建立在Hadoop之上的数据仓库基础架构，它提供了类SQL的查询语言，可以让开发者进行数据分析和处理。使用Docker搭建Hive可以方便地创建和管理Hive环境，提高开发效率。本文将介绍如何使用Docker搭建Hive环境，并帮助你快速上手。
## 准备工作
在开始之前，你需要确保已经安装了Docker和Docker Compose。如果你
原创
2023-09-28 23:28:15
295阅读
前言通过访问hbase的官方网站，得知，hbase是一个分布式，开源的非关系型数据库，其他的我就不介绍了，主要介绍一下安装这个需要的环境，首先hadoop集群必须安装好，然后zookeeper集群也得安装好，如果您的zookeeper集群没有安装，请仿照我之前写的文章来搭建一下。 栋公子：搭建zookeeper集群zhuanlan.zhihu.com
下载首先安装
转载
2023-12-11 23:01:45
38阅读
Ubuntu搭建 Spark、Hive、Hadoop+yarn操作系统：Ubuntu 16.04.12虚拟机：VMware® Workstation 16 Pro 16.0.0JDK：1.8.0_282Hadoop： hadoop-2.7.5 Index of /dist/hadoop/commonSpark： spark-2.4.7-bin
转载
2024-09-13 13:32:53
41阅读
# 搭建Hive Docker
在数据处理领域，Hive 是一种开源的数据仓库工具，它可以方便地处理大规模数据集。而 Docker 是一种轻量级的容器化技术，使得我们可以更加便捷地部署和管理应用程序。本文将介绍如何搭建一个运行 Hive 的 Docker 容器。
## 第一步：准备Docker环境
首先，我们需要安装 Docker。可以根据官方文档 [Docker官方文档]( 进行安装。
原创
2024-07-14 04:32:23
46阅读
1.hive简介2.安装hive2.1 环境准备2.1.1 下载安装包2.1.2 设置hive用户的环境变量2.1.3 hive服务端配置文件2.1.4 hive客户端配置文件2.1.4 分发hive配置文件2.2 启动hive2.2.1 初始化数据库2.2.2 创建HDFS目录2.2.3 启动hive3.总结getting start: https://cwiki.apache.org/con
转载
2023-11-26 15:23:35
613阅读
致读者： 博主是一名数据科学与大数据专业大三的学生，一个互联网新人，写博客一方面是为了记录自己的学习过程中遇到的问题和思考，一方面是希望能够帮助到很多和自己一样处于困惑的读者。 由于水平有限，博客中难免会有一些错误，有纰漏之处恳请各位大佬不吝赐教！之后会写大数据专业的文章哦。 GitHub链接https://github.com/wfy-belief尽管现在我的水平可能还不太及格，但我会尽我自己所
转载
2023-11-09 11:28:07
43阅读
1、搭建环境部署节点操作系统为CentOS，防火墙和SElinux禁用，创建了一个shiyanlou用户并在系统根目录下创建/app目录，用于存放Hadoop等组件运行包。因为该目录用于安装hadoop等组件程序，用户对shiyanlou必须赋予rwx权限(一般做法是root用户在根目录下创建/app目录，并修改该目录拥有者为shiyanlou(chown –R shiyanlou:shiyanl
转载
2024-07-23 09:40:04
204阅读
高可用高可用背景单点故障、高可用实现高可用主备集群Active、Standby可用性评判标准- x个9HA系统设置核心问题1、脑裂问题2、数据同步问题HDFS NameNode单点故障问题HDFS HA解决方案 -QJMQJM—主备切换、脑裂问题解决ZKFC（ZK Failover Controller）主备切换、脑裂问题的解决--Fencing（隔离）机制主备数据状态同步问题HDFS HA集群
转载
2023-08-22 13:48:57
562阅读
# 使用Docker搭建Hive环境
Apache Hive 是一个数据仓库工具，可以在Hadoop中进行数据分析。它提供了数据摘要、查询和报告功能。Hive使用类SQL语言（HiveQL）来操作数据，并能够处理结构化数据。近年来，Docker已成为构建和部署应用程序的流行工具，提供了轻量级的虚拟化环境。本文将介绍如何使用Docker快速搭建一个Hive环境。
## 环境准备
在开始之前，请
# 使用 Docker 搭建 Hive 容器的指南
在大数据处理的领域，Apache Hive 是一个非常流行的数仓工具，而 Docker 则为我们提供了一个方便、可控的运行环境。本文将带你一步一步实现通过 Docker 搭建 Hive 容器的过程。下面是我们将要遵循的流程。
## 流程概述
以下是搭建 Hive 容器的步骤流程：
| 步骤 | 操作
原创
2024-09-26 05:26:40
177阅读
# 使用Docker搭建Hive集群指南
在大数据的世界里，Apache Hive 是一个用于数据仓库的工具，能够在 Hadoop 分布式文件系统（HDFS）上进行数据查询和分析。使用 Docker 搭建 Hive 集群是一个很好的实践，可以让你快速地构建和测试 Hive 的功能。本文将详细阐述如何通过 Docker 搭建一个 Hive 集群，包括每个步骤所需的代码和解释。
## 流程概述
ELK即Elasticsearch、Logstash、Kibana,组合起来可以搭建线上日志系统，在目前这种分布式微服务系统中，通过ELK 会非常方便的查询和统计日志情况.ELK中各个服务的作用Elasticsearch:用于存储收集到的日志信息；Logstash:用于收集日志，应用整合了Logstash以后会把日志发送给Logstash,Logstash再把日志转发给Elasticsearch；
转载
2024-09-06 13:07:36
131阅读
目录 一、环境和应用准备二、构建images三、搭建Hadoop集群 四、配置Hadoop集群五、安装Hive 一、环境和应用准备环境：centOS7安装包版本：apache-hive-3.1.2-bin.tarhadoop-2.7.7.tar.gzjdk-8u11-linux-x64.tar.gz mysql-connector-java 二、构
转载
2024-08-02 10:04:39
697阅读
一、概述Hive是什么？ Hive是一个数据仓库基础工具在Hadoop中用来处理结构化数据。它架构在Hadoop之上，总归为大数据，并使得查询和分析方便。最初，Hive是由Facebook开发，后来由Apache软件基金会开发，并作为进一步将它作为名义下Apache Hive为一个开源项目。它用在好多不同的公司。例如，亚马逊使用它在 Amazon Elastic MapReduce。 Hive
转载
2023-08-23 16:21:28
1493阅读
一、HDFS实验：部署HDFS指导2.1 实验目的1． 理解HDFS存在的原因；2． 理解HDFS体系架构；3． 理解master/slave架构；4． 理解为何配置文件里只需指定主服务、无需指定从服务；5． 理解为何需要客户端节点；6． 学会逐一启动HDFS和统一启动HDFS；7． 学会在HDFS中上传文件。2.2 实验要求要求实验结束时，已构建出以下HDFS集群：1． master
转载
2024-03-05 08:17:09
82阅读
分布式集群:
Hadoop
收集：flume kafka
存储：HDFS
计算：MapReduce
分布式集群存储（HDFS）：
配置jdk环境变量： vim/etc/proflile
JAVA_HOME=/usr/jdk1.8.0
PATH=$JAVA_HOME/bin:$PATH($:连接到之前的PATH)
e
转载
2024-04-30 17:10:43
48阅读
大数据环境部署一（hdfs集群搭建）
大数据分析使用的数据源是shp文件，目前存储方案是存储在HDFS中。Hdfs文件服务器部署起来比较简单，简述一下。
hdfs版本选择比较随意，3.x都可以。
hdfs部署正常情况下10分钟就够了，需要注意的就是免密登录哪里，不要随便chomd权限，不然会很麻烦的。
如果是新机器，几乎不需要改权限就可以正常部署。1：安装软件和前提环境服务器：c
转载
2023-07-13 16:57:12
184阅读
