1. 系统环境1.1. 软件版本下表为本系统环境所安装的软件的版本信息：软件类别版本下载地址Hadoop 官网zookeeper 官网hbase 官网hive 官网 1.
转载
2023-07-23 23:11:41
149阅读
分布式系统详解（Apache Hive 入门-简介）一、Hadoop中MapReduce所面临的问题： 1、人员学习成本太高2、项目周期要求太短3、MapReduce实现复杂查询逻辑开发难度太大二、Hive是什么？Apache hive 数据仓库软件有
转载
2023-07-12 17:03:03
56阅读
安装模式之完全分布式集群1 完全分布式模式介绍完全分布式，指的是在真实环境下，使用多台机器，共同配合，来构建一个完整的分布式文件系统。
在真实环境中，hdfs中的相关守护进程也会分布在不同的机器中，比如：
-1. namenode守护进程尽可能的单独部署在一台硬件性能相对来说比较好的机器中。
-2. 其他的每台机器上都会部署一个datanode守护进程，一般的硬件环境即可。
-3. seconda
一、Hadoop集群(完全分布式)1. 准备工作1.1 拿模板机克隆三台虚拟机(DT100,DT101,dt102),其中DT100作为master,DT101,102作为slavesA.在master安装必要工具yum -y install vim
yum -y install lrzszB.上传jdk和hadoop安装包到/opt/softwareC.创建普通用户dt,修改密码为dtusera
转载
2023-09-16 02:41:24
124阅读
目录1.1.1 完全分布式介绍1.1.2 平台软件说明1.1.3 守护进程布局1.2.1 集群搭建准备1.2.2 总纲1.2.3防火墙关闭1.2.4 主机映射1.2.5 免密登陆1.2.6 jdk安装和hadoop安装及环境配置1.3.1 配置文件1.core-site.xml2.hdfs-site.xml3.hadoop-enc.sh4.workres5. 分发1.3.2 格式化集群1
转载
2023-07-12 12:10:11
87阅读
Hive是为提供简单的数据操作而设计的下一代分布式数据仓库。它提供了简单的类似SQL的语法的HiveQL语言进行数据查询。同时，HiveQL语言能力不足时，它也能允许使用传统的map/reduce进行复杂数据分析。 Hive是搭建在Hadoop平台之上的。Hive并不是一个真正的数据库，它的元数据需要存储在其他数据库中(例如mysql)。。Hadoop平台提供了HDFS分布式存储系统和map/re
转载
2023-10-18 18:06:02
83阅读
在学习接触大数据相关各种技术后，比如：zookeeper分布式应用协调服务组件、Hadoop是分布式计算平台（包含分布式文件系统HDFS和分布式计算和任务处理MapReduce）、Hive是分布式数据库、Hbase是分布式kv系统、kafka 分布式消息系统、dubbo分布式服务框架、Storm分布式实时计算模式框架、Spark是分布式计算系统、NoSQL分布式数据库、Redis分布式缓存框架等这
Hive原理与配置Hive概述：1.Hive是一个构建于Hadoop顶层的数据仓库工具，可以查询和管理PB级别的分布式数据。 2.支持大规模数据存储、分析，具有良好的可扩展性 某种程度上可以看作是用户编程接口，本身不存储和处理数据。 3.依赖分布式文件系统HDFS存储数据。 依赖分布式并行计算模型MapReduce处理数据。 4.定义了简单的类似SQL 的查询语言——HiveQL。 5.用户可以通
转载
2023-07-12 12:53:32
71阅读
完全分布式集群群起群起的ssh准备群起的本质是由主节点调用子节点启动，此时，需要预先准备ssh设置
原创
2022-09-16 06:11:01
94阅读
Hive2.3.6伪分布式安装部署一、Hive介绍Hive依赖于HDFS存储数据，Hive将HQL转换成MapReduce执行，所以说Hive是基于Hadoop的一个数据仓库工具，实质就是一款基于HDFS的MapReduce计算框架，对存储在HDFS中的数据进行分析和管理。二、环境依赖Hive不能独立运行，需要依赖于一个RDBMS(存储元数据)和一个文件系统安装环境：Centos7.6 + Hiv
完全分布式集群配置1 集群部署规划2.配置集群以下操作都使用dev1账户（1）HDFS配置文
原创
2022-09-16 06:10:53
67阅读
Hadoop集群的完整搭建准备工作网络环境的配置修改网关、IP配置映射、主机名重启网络服务，测试ssh的配置jdk的安装Hadoop完全分布式的安装准备工作修改配置文件slaveshadoop-env.shyarn-env.shcore-site.xmlhdfs-site.xmlmapred-site.xmlyarn-site.xml分发到其他节点测试安装Zookeeper准备工作修改配置文件分发即修改文件测试准备工作网络环境的配置修改网关、IP打开要修改的文件(最后一个文件名可能每个人的不一样)
原创
2021-08-03 10:10:50
1706阅读
hadoop完全分布式集群搭建本次搭建完全分布式集群用到的环境有：jdk1.8.0hadoop-2.7.7本次搭建集群所需环境也给大家准备了，下载链接地址：https://share.weiyun.com/dk7WgaVk 密码：553ubk本次完全分布式集群搭建需要提前建立好三台虚拟机，我分别把它们的主机名命名为:master,slave1,slave2一.配置免密登陆首先我们要实现三台虚拟机之
hadoop-3.3.3完全分布式集群搭建前言环境准备软件版本集群规划一、配置jdk环境变量1. 解压jdk2. 修改/etc/profile文件二、hadoop集群搭建1. 关闭防火墙2. 修改主机名3. 添加ip映射4. 配置免密登录5. 修改hadoop配置文件1. 解压2. 配置hadoop环境变量3. hadoop-env.sh4. core-site.xml5. hdfs-site.
转载
2023-09-14 08:15:10
96阅读
Hadoop大数据——随着计算机技术的发展，互联网的普及，信息的积累已经到了一个非常庞大的地步，信息的增长也在不断的加快。信息更是爆炸性增长，收集，检索，统计这些信息越发困难，必须使用新的技术来解决这些问题。大数据由巨型数据组成，这些数据集大小超出人类在可接受时间下的收集，使用，管理和处理能力。把数据集合并进行分析可得出许多额外的信息和数据关系性，可用来察觉商业趋势，判定研究质量，避免疾病扩散，打
1. hadoop我Hadoop的安装目录为/usr/local/workspace/hadoop2.hdfs2.1 单机模式单机模式即不使用
分布式模式，无需启动namenode和datanode，自动使用linux文件系统即其配置如下，该配置也是hdfs的默认配置，file协议就是使用当前系统的文件系统<property>
<name>fs.defaultFS<
转载
2023-07-12 15:11:06
286阅读
目录一、前期准备二、配置hadoop环境变量1.解压到当前目录2.配置hadoop环境变量3.让配置的环境变量生效4.检查是否配置成功 三、搭建hadoop集群（三台为例）创建文件夹修改配置文件 1.hadoop-env.sh 2.core-site.xml 3. hdfs-site.xml 4. mapred-site.xml
转载
2023-08-16 17:54:03
96阅读
环境信息完全分布式集群（一）集群基础环境及zookeeper-3.4.10安装部署
创建用户用户组在集群中各个节点执行以下命令，创建hadoop用户组，hadoop用户，设置hadoop用户的密码groupadd hadoop
useradd -g hadoop hadoop
passwd hadoop
解压授权通过FTP上传hadoop-2.6.5.tar.gz安装包
转载
2023-09-20 10:50:03
113阅读
文章目录一，前置知识二，集群的结构三，集群内主机名称和ip映射的配置情况四， 集群部署详细步骤 (十个步骤)1️⃣，集群内`主从节点都要一一进行配置`的基本步骤注: 包括的设置选项有, 静态IP, 主机名, IP地址-主机名的映射, 关闭防火墙, 安装JDK和Hadoop并配置相应的环境变量一. 配置静态IP二.设置Hostname , 添加IP地址-主机名的映射三. 关闭防火墙四. 安装JDK,
转载
2023-07-09 15:11:13
267阅读
记录一次使用Docker安装fastDFS
使用docker安装fastDFS比较简单，无需考虑下载解压等等繁琐步骤，下面我就来简单介绍一下如何使用docker安装fastDFS
转载
2023-07-11 11:44:00
135阅读
