文章目录一、MHA概述二、部署MHA（1）实验环境（2）实验步骤1、配置免密登录2、安装MHA软件包-Manager 管理工具3、配置主从复制4、设置 MySQL 程序及 BinLog 程序的软连接5、在两台 Slave 设置临时只读和不清除中继日志6、配置 MHA 工作目录及配置文件7、在Manager节点检查复制配置8、启动Manager9、验证故障转移三、MHA报错解决 一、MHA概述MH
转载
2024-05-31 13:31:19
31阅读
下一周学习YarnHDFS简介 HDFS（Hadoop Distribute File System, Hadoop分布式文件系统），是Hadoop核心组成，是分布式存储服务。 分布式文件存储系统横跨多台计算机，在大数据时代有着广泛的应用前景。它们为存储和处理超大规模数据提供所需的扩展能力。HDFS是分布式文件系统中的一种。HDFS重要概念HDFS通过统一的命名空间目录树来定位文件。并且HDF
转载
2023-11-14 13:47:59
63阅读
文章目录一、大数据技术生态体系二、集群规划2.1 群启集群要求三、HDFS概述及优缺点3.1 概述3.2 HDFS的优点3.3 HDFS的缺点3.4 HDFS组成架构3.5 HDFS文件块大小四、HDFS的API操作4.1文件上传4.2 文件夹删除4.3 HDFS文件详情查看4.4 HDFS文件和文件夹判断五、HDFS的读写操作5.1 HDFS的写操作（文件上传）5.2 HDFS的读操作（文件下
转载
2023-08-09 22:15:37
149阅读
大数据必学框架-sqoop。
一、配置sqoop环境为了能够让sqoop识别到hdfs，需要在配置文件中指定位置，conf目录下的sqoop-env.shexport HADOOP_COMMON_HOME=/opt/module/hadoop
export HADOOP_MAPRED_HOME=/opt/module/hadoop
export ZOOKEEPER_HOME=/opt/modu
转载
2023-07-14 16:01:08
29阅读
二.Hadoop集群搭建本文是在《Hadoop集群搭建之Linux部分》基础上继续阐述的。本文中安装的Hadoop版本信息为：hadoop-2.8.31.HDFS核心配置本文中，在HDFS部分一些非常重要的核心参数配置如图1-1所示。对HDFS核心参数配置简述如下：namenode在主机名为cts01机器上运行；namenode存元数据的本地目录为：/root/hdpdata/name/；data
转载
2023-10-27 16:51:28
78阅读
sqoop是一个开源工具，主要用处是在Hadoop（hive，hdfs，hbase）与传统的数据库（mysql，Oracle）之间进行数据的传递import：数据从传统数据库到Hadoop里面 export：数据从Hadoop到传统数据库里面 目录MySQL到hdfs的默认加载Mysql到hdfs的具体加载Mysql到Hive--direct参数与--e参数的使用Mysql导入到Hbasehdfs
转载
2023-07-14 15:58:44
106阅读
HDFS（Hadoop Distributed File System）和MySQL是两种重要的数据存储解决方案。HDFS用于处理大规模数据集以及分布式存储，而MySQL是一种关系型数据库，适合处理结构化数据。在实际应用中，有时需要将HDFS与MySQL结合使用，以便在大数据环境中高效地管理和分析数据。
### 环境准备
在开始之前，确保您的环境满足以下软硬件要求：
| 组件
如何将 Mysql 数据写入 Kafka 呢？我们可以使用一个小工具。。。
一. 概述在大数据的静态数据处理中，目前普遍采用的是用Spark+Hdfs（Hive/Hbase）的技术架构来对数据进行处理。但有时候有其他的需求，需要从其他不同数据源不间断得采集数据，然后存储到Hdfs中进行处理。而追加（append）这种操作在Hdfs里面明显是比较麻烦的一件
转载
2023-10-10 13:52:56
95阅读
公司要开搞大数据了，针对大数据的一般姿势做了个简单调研。 一、通用架构 二、组件选择1、Hdfs、HBaseHdfs：分布式文件存储，无缝对接所有大数据相关组件。高容错（多副本）、高吞吐。适合一次写入，多次读出。不适合低延迟读取、小文件存储（寻址时间超过读取时间）。HBase：非关系型分布式数据库，基于Hdfs，高容错、高吞吐。HBase采用的是Key/Value的存储方式，即
转载
2023-07-14 14:34:25
0阅读
目录一、HDFS-HA配置和测试1. 修改hdfs-site.xml2. 修改core-site.xml3. 服务启动二、自动故障转移1. 修改hdfs-site.xml文件2. 修改core-site.xml文件3. 服务启动试想一个场景，每个hdfs集群只有一个namenode节点，如果这个namenode节点不可用，那么整个hdfs集群服务都不可用，这样集群的可抗性是非常差的。HDFS-HA
转载
2024-02-23 11:25:17
127阅读
HDFS 集群由一个主/从架构组成，单个运行 NameNode 进程的服务器为主节点服务器，多个运行 DataNode 进程的服务器为从节点服务器安装准备主机名IP地址服务器node-01192.168.229.21NameNode服务器、DataNode服务器node-02192.168.229.22DataNode服务器node-03192.168.229.23DataNode服务器安装步骤1
转载
2024-05-07 11:05:31
61阅读
目录静态新增动态新增Hadoop HDFS 数据自动平衡脚本使用方法静态新增静态新增的方式，相
转载
2022-07-06 19:21:59
279阅读
文章目录数据库集簇的逻辑结构数据库集簇的物理结构数据库集簇的布局数据库布局表和索引相关文件的布局表空间的布局堆表文件的内部布局读写元组的方式写入堆元组读取堆元组参考 数据库集簇的逻辑结构数据库集簇（database cluster）是一组数据库（database）的集合，由一个PostgreSQL服务器管理。数据库集簇与高可用数据库集群不同，并非意味着“一组数据库服务器”，一个PostgreSQ
前面我已经就HDFS集群的启动问题在整体上进行了阐述，而在本文，我将主要针对DataNode节点在启动的过程中会首先向NameNode节点进行注册这一细节进行深入的讨论。DataNode节点的服务地址，而是让NameNode节点来记住所有的DataNode节点信息，然后客户端通过NameNode节点来获取DataNode节点的信息。当然，真实的情况是，由NameNode节点来收集所有的DataN
转载
2024-08-16 13:27:18
55阅读
从0开始搭建Hadoop2.x高可用集群（HDFS篇）演示目标演示环境注意事项准备虚拟机关闭防火墙检查系统时间修改host设置免密登录卸载OpenJDK安装软件准备HDFS配置cote-site.xml配置hdfs-site.xml配置slaves配置hadoop-env拷贝配置准备Zookeeper配置zoo.cfg启动集群启动Zookeeper集群启动HDFS集群首次启动验证高可用（HA）
转载
2024-03-24 11:18:35
121阅读
HDFS 详解 ：HDFS 基本介绍 ① HDFS 是 Hadoop Distribute File System 的简称，意为：Hadoop 分布式文件系统。是 Hadoop 核心组件之一，作为最底层的分布式存储服务而存在。② 分布式文件系统解决的问题就是大数据存储。它们是横跨在多台计算机上的存储系统。分布式文件系统在大数据时代有着广泛的应用前
转载
2024-03-04 15:26:47
36阅读
NameNode学习目标理解 namenode 的工作机制尤其是元数据管理机制，以增强对 HDFS 工作原理的 理解，及培养 hadoop 集群运营中“性能调优”、“namenode”故障问题的分析解决能力问题场景1、Namenode 服务器的磁盘故障导致 namenode 宕机，如何挽救集群及数据？2、Namenode 是否可以有多个？namenode 内存要配置多大？namenode 跟集群数
转载
2024-07-04 10:40:55
32阅读
HDFS介绍HDFS 是 Hadoop Distribute File System 的简称，意为：Hadoop 分布式文件系统。是 Hadoop 核心组件之一，作为最底层的分布式存储服务而存在。 分布式文件系统解决的问题就是大数据存储。它们是横跨在多台计算机上的存储系统。分布式文件系统在大数据时代有着广泛的应用前景，它们为存储和处理超大规模数据提供所需的扩展能力。HDFS的特性是一个文件系统，用
转载
2024-02-11 19:49:48
37阅读
当我们的hdfs集群运行了一段时间之后，原有的数据节点的容量已经不能满足我们的存储了，这个时候就需要往集群中增加新的数据节点。此时我们就需要动态的对hdfs集群进行扩容操作(节点服役)。
原创
精选
2023-04-04 12:25:22
454阅读
文章目录一、HDFS架构概述1、HDFS定义2、HDFS组成3、HDFS文件块大小4、HDFS的优点5、HDFS的缺点6、HDFS读数据流程7、NameNode工作原理8、DataNode工作原理二、YARN架构概述1、yarn概述2、yarn构成组件三、MapReduce1、MapReduce优点：2、MapReduce缺点：四、三者之间的关系一、HDFS架构概述1、HDFS定义HDFS(Had
转载
2023-07-18 11:38:27
165阅读
