hive默认将元数据存储到本地内嵌的Derby数据库中，但是Derby不支持多会话链接，因此我们使用mysql数据库来存储hive的元数据。配置完成hiveSQL的元数据库之后再开始安装、配置hive。 1、在线安装mysql 安装命令为 sudo apt-get install mysql-ser ...
转载
2021-10-13 15:08:00
148阅读
2评论
源码安装对于新手来说往往费时费力，搭建好hadoop环境之后，再搭建hadoop生态中其他工具就更具挑战；此外，搭建好之后对于生态工具的管理以及监控也是不小的挑战，因此ambari及CDH并应运而生。ambari及CDH的诞生极大简化了大数据集群的配置安装及监控管理。这篇文章以ambari大数据集群的安装配置为例，记录整个过程。 PS： 本文中用到的安
原创
2020-05-21 11:18:47
10000+阅读
Hadoop安装配置环境1, JDK8 --> 位置: /opt/jdk82, Hadoop2.10: --> 位置: /opt/bigdata/hadoop2103, CentOS 7虚拟机试验集群规划一,安装步骤1, 解压缩cd /opt/bigdata
tar -zxvf hadoop-2.10.1.tar.gz
mv ./hadoop-2.10.1 hadoop2102, 配置
转载
2021-01-18 21:17:48
168阅读
2评论
大数据平台CDH6.1.0安装配置标签（空格分隔）：大数据平台构建一：关于CDH6.1.0的介绍二：系统环境初始化三：安装CDH6.1.0所需环境四：配置CDH6.1.0的cloudera-manager安装一：关于CDH6.1.0的介绍Cloudera在前天12月19日，对外宣布正式发布ClouderaEnterprise6.1包含大数据生态版本如下:1.组件版本：Kafka2.0,Spark2
原创
2019-02-15 20:57:37
10000+阅读
点赞
Hadoop安装配置环境1, JDK8 --> 位置: /opt/jdk82, Hadoop2.10: --> 位置: /opt/bigdata/hadoop2103, CentOS 7虚拟机试验集群规划一,安装步骤1, 解压缩cd /opt/bigdata
tar -zxvf hadoop-2.10.1.tar.gz
mv ./hadoop-2.10.1 hadoop2102, 配置
转载
2021-04-29 14:09:53
140阅读
2评论
大数据平台CDH5.16.2安装配置标签（空格分隔）：大数据平台构建一：环境初始化二：安装CDH5.16.21.1:系统环境介绍系统：RHEL7.7X64cat/etc/hosts---172.17.100.21rhel01.flyfish172.17.100.22rhel02.flyfish172.17.100.23rhel03.flyfish172.17.100.24rhel04.flyfis
原创
精选
2020-04-25 21:18:24
7839阅读
2评论
大数据应用日志采集之Scribe 安装配置指南1.概述Scribe是Facebook开源的日志收集系统，在Facebook内部已经得到大量的应用。它能从各种日志源收集日志，存储到一个中央存储系统上，便于进行集中统计分析处理。它为日志的”分布式收集，统一处理”提供了一个可扩展的，高容错的方案。
原创
2022-05-04 17:46:36
403阅读
Grafana 是一个开源的可视化与监控平台，广泛应用于数据监控和分析领域，特别适合于 IT 基础设施监控、应用程序性能监控以及
它支持静态配置、DNS 服务发现、文件服务发现以及多种平台的自动发现，比如 Kubernetes、Consul、Amazon EC2、Azure 等，使得 Prometheus 能够动态地发现容器、Pod、VM 等新资源，减少运维人员的手动操作。Prometheus 的数据默认会保存在本地磁盘中，使用 TSDB（时间序列数据库） 存储引擎，以时间块的形式进行存储和压缩。为了满足
一、安装准备下载地址：://.apache.org/dyn/closer.cgi/zook
原创
2022-04-22 13:45:46
179阅读
一、安装准备下载地址：://archive.apach
原创
2022-04-22 13:45:35
810阅读
一、安装准备下载地址：http://archive.apache.org/dist/hbase/参考文档：http://hbase.apache.org/book.htmlssh免密登录：https://blog.csdn.net/qq262593421/article/details/105325593zookeeper安装：https://blog.csdn.net/qq262593421/article/details/106955485hadoop集群安装：https://blo
原创
2021-08-26 09:23:30
503阅读
前言经过前三篇文章的介绍，已经通过VMware安装了Hadoop集群环境，当然，我相信安装的过程肯定遇到或多或少的问题，这些都需要自己解决，解决的过程就是学习的过程，本篇的来介绍几个Hadoop环境中需要用到的软件，确切的说是两款：VSFTP和SecureCRT。闲言少叙，进入本篇的正题。背景这里简要说明下这两款软件的作用。1、VSFTP这个从字面就能理解就
转载
2021-07-28 17:09:55
263阅读
需要注意：要求HBase的hbase.zookeeper.quorum值必须只能是 host1、host2这种，不允许host1:2181、host2:2181这种。你
原创
2024-10-29 13:49:06
70阅读
一、安装准备下载地址：https://archive.apache.org/dist/spark/官方文档：http://spark.apache.org/docs/latest/二、解压安装解压缩文件cd /usr/local/hadooptar zxpf spark-2.4.0-bin-hadoop2.7.tgz2、创建软链接ln -s spark-2.4.0-bin-hadoop2.7.tgz spark三、修改配置文件slaveshadoop00.
原创
2021-08-26 09:23:28
677阅读
一、安装准备下载地址：https://www.apache.org/dyn/closer.cgi/zookeeper/官方文档：https://zookeeper.apache.org/doc/r3.4.5/二、解压安装解压文件cd /usr/local/hadooptar zxpf zookeeper-3.4.5.tar.gz创建软连接ln -s zookeeper-3.4.5 zookeeper三、配置zoo.cfg文件cd /usr/local/hadoop
原创
2021-08-26 09:23:34
237阅读
