HadoopHDFSHDFS设计思想将数据存储到若干台单独计算机上。HDFS特点1.存储超大文件2.廉价硬件之上3.一次写入,多次读取HDFS架构1.唯一NameNode,唯一SecondaryNameNode,都运行在主节点(master)2.大于等于“1”个DataNode,运行在从节点(slave)3.所有的数据均存放在DataNode里面4.可以有若干个客户端(Client)HDF
前期准备 配置hosts 192.168.245.105 scm-node1 192.168.245.106 scm-node2 192.168.245.107 scm-node3设置hostname 在192.168.245.105上执行 sudo hostnamectl --static --transient set-hostname scm-node1 在192.168.245.106
转载 2024-05-11 22:51:57
54阅读
Hadoop高可用安装本文主要讲hadoop高可用安装过程以及一些本人在安装过程中遇到错误和解决方法。1.HA安装方案2.分发jdk到node04,05,06scp jdk-7u67-linux-x64.rpm node04:`pwd` scp jdk-7u67-linux-x64.rpm node05:`pwd` scp jdk-7u67-linux-x64.rpm node06:`pwd
一、HAWQ高可用简介        HAWQ作为一个传统数仓在Hadoop上替代品,其高可用性至关重要。通常硬件容错、HAWQ HA、HDFS HA是保持系统高可用时需要考虑并实施三个层次。另外实时监控和定期维护,也是保证集群所有组件健康必不可少工作。         总的来说,HAWQ容错高可用实现方式包
转载 2024-06-21 22:41:48
117阅读
HDFS常用命令类似于Linuxls命令,显示文件列表 hdfs dfs   -ls /在整个目录下递归执行ls, 与UNIX中ls-R类似 hdfs dfs   -ls -R /创建目录。使用-p参数可以递归创建目录 hdfs dfs -mkdir dir2 hdfs dfs -mkdir -p dir3/testput 将单个源文件src或者多个源文件srcs从本地文
转载 2024-02-19 17:56:09
48阅读
# 从Hive中获取HDFS地址 ## 引言 在Hadoop生态系统中,Hive是一个用于数据仓库数据仓库工具,它提供了类似于SQL查询语言,可以让用户通过类似于SQL语法来查询和分析存储在Hadoop集群中数据。在实际数据分析工作中,有时候我们需要获取HiveHDFS地址,以便进行进一步数据处理或分析。本文将介绍如何在Hive中获取HDFS地址,并提供代码示例。 #
原创 2024-02-23 05:37:57
213阅读
手动故障切换到备用NameNode使用Cloudera Manager手动故障转移到备用NameNode如果您正在运行启用了HAHDFS服务,则可以手动使活动NameNode故障切换到备用NameNode。这对计划中停机时间很有用 - 用于主要主机硬件更改,配置更改或软件升级。 1.转到HDFS服务。 2.单击实例选项卡。 3.点击联合和高可用性。 4.找到要在NameNode上进
大家好,今天分享一款OLAP神器安装方法。学习靠努力和坚持。能动手地方不要动嘴(实操胜于一切)。 01—Apache Kylin是什么 Apache Kylin是一个开源、分布式分析型数据仓库,提供Hadoop/Spark 之上 SQL 查询接口及多维分析(OLAP)能力以支持超大规模数据,最初由 eBay 开发并贡献至开源社区。它能在亚秒内查询巨大。Kylin也是国内首个贡
一、背景因为最近使用hadoop发现了一些问题,而且也没有太多时间去对其本身进行修改,所以,在朋友建议下采用了clouderaCDH3版本。相对来说比较稳定和可靠,官网地址如下:http://www.cloudera.com/二、CentOS和JDK安装步骤1、进入到centOS官方网址http://isoredirect.centos.org/centos/5/isos/x86_64/
转载 2024-07-26 12:58:55
48阅读
cdh-hadoop2.6.0伪分布式环境搭建标签(空格分隔): hadoop基础之环境搭建1.windows环境准备1.下载软件Vmware Station http://www.vmware.com/cn(不限版本,最好10或以上) 2.下载CentOS https://www.centos.org/download/(64位即可,最好6.5版本) 3.安装 打开vmware WorkStai
转载 10月前
31阅读
1.MapReduce shuffle处理程序和IFile阅读器使用本机Linux调用,在安装了Hadoop本机库Linux系统上。 2.改善随机处理程序 1.您可以通过启用shuffle readahead来改进MapReduce shuffle处理程序性能。 这会导致TaskTracker或节点管理器在通过套接字将其发送到reducer之前预读取
转载 2024-07-19 18:34:19
50阅读
一、准备工作1.1 前言        这是博主在升级过程中遇到问题记录,大家不一定遇到过,如果不是 CDH 平台的话,单是 hive 服务升级应该是不会有这些问题,且升级前博主也参考过几篇相关 CDH 升级 hive 服务博文,前面的升级步骤基本一致,但是升级过程只有我遇到了这些问题吗?显然不是的,但是其他博文
转载 2024-03-25 13:55:49
439阅读
集群部署情况HOSTJNNNSNNDNZKFCZKnode01##--#-node02######node03#--#-#node04---#-#基础操作环境centos7.5 jdk1.8 zookeeper 3.7.1 hadoop 2.6.5基础设施安装jdk基本操作,不会自行百度。关闭防火墙systemctl stop firewalld systemctl disable firew
转载 2024-04-19 17:41:04
55阅读
RegionRegion 是表格可用性和分布基本元素,由列族(Column Family)构成 Store 组成。对象层次结构如下:- Table - Region - Store (由每个 Region 中列族组成存储块) - MemStore (每个 Region 中存储在内存中 Store)
转载 2024-03-22 14:58:17
31阅读
HDFS高可用对于保证NameNode元数据一致性和编辑日志安全性,采用Zookeeper来存储编辑日志文件。两个NameNode一个是Active状态,一个是Standby状态,一个时间点只能有一个Active状态。NameNode提供服务,两个NameNode上存储元数据是实时同步,当ActiveNameNode出现问题时,通过Zookeeper实时切换到StandbyNam
详解HDFS Short Circuit Local ReadsHadoop一大基本原则是移动计算开销要比移动数据开销小。因此,Hadoop通常是尽量移动计算到拥有数据节点上。这就使得Hadoop中读取数据客户端DFSClient和提供数据Datanode经常是在一个节点上,也就造成了很多“Local Reads”。最初设计时候,这种Local Reads和Remote Reads(
转载 2024-04-05 21:22:15
33阅读
ls格式:hdfs dfs -ls  URI作用:类似于linuxls命令,显示文件列表lsr格式:hdfs dfs -lsr URI作用:在整个目录下递归执行lsmkdir格式:hdfs dfs  【-p】 -mkdir <path>作用:以《path》中URI作为参数,创建目录,使用-p参数可以递归创建目录put格式: hdfs dfs  -put
转载 2024-02-20 18:39:15
27阅读
1.概述在CDH默认安装包中,是不包含Kafka,Kudu和Spark2,需要单独下载特定Parcel包才能安装相应服务。本文档主要描述在离线环境下,在CentOS6.5操作系统上基于CDH5.12.1集群,使用Cloudera Manager通过Parcel包方式安装Kudu、Spark2和Kafka过程。内容概括Kudu安装Spark2安装Kafka安装服务验证测试环境操作系统版本:
1.基础环境准备1.1创建一个新虚拟机1.2安装虚拟机,设置ROOT密码并创建用户名为cdh用户。 1.3修改配置文件 1.4测试是否可以联网 1.5安装常用命令 1.6关闭防火墙 1.7复制两台虚拟机并修改名称 1.8生成MAC地址并记录此地址之后取消 1.9启动第二台虚拟机 1.10修改配置文件,修改以下三处内容(MAC地址为之前记录)。 1.11修改MAC地址与配置文件中一致 1.12
转载 2024-04-24 11:29:42
208阅读
1.设计基础目标  (1) 错误是常态,需要使用数据冗余   (2)流式数据访问。数据批量读而不是随机速写,不支持OLTP,hadoop擅长数据分析而不是事物处理。   (3)文件采用一次性写多次读模型,文件一旦写入就无法修改。所以一致性模型非常简单。   (4)程序采用 数据就近 原则分配节点执行。(MapReduce)2.hdf体系结构   
  • 1
  • 2
  • 3
  • 4
  • 5