1.硬盘挂载(每台服务器上都操作)1.1 检查阿里云服务器数据盘情况fdisk -l1.2 挂载阿里云数据硬盘fdisk /dev/vdb输入"fdisk /dev/vdb"，然后根据下图的提示，输入n，p，1，回车，回车，wq，保存退出。 完毕之后输入fdisk -l1.3 格式化分区及挂载目录1.3.1 格式化挂载数据硬盘分区mkfs.ext3 /dev/vdb11.3.2 创建目录挂载如果我
转载
2023-11-02 14:55:59
116阅读
CDH版本Hadoop集群搭建1、CDH版本hadoop重新编译1.1 为什么要编译？1.2 编译环境的准备1.3 进行编译2、CDH版本的zookeeper环境搭建2.1 zookeeper下载解压2.2 修改配置文件2.3启动zk服务3、CDH伪分布式环境搭建3.1 上传压缩包并解压3.2 查看hadoop支持的压缩方式以及本地库3.3 修改配置文件3.4 创建文件存放目录3.5 安装包的分
转载
2023-08-18 13:26:47
264阅读
1. 相关目录 /var/log/cloudera-scm-installer : 安装日志目录。/var/log/* : 相关日志文件（相关服务的及CM的）。/usr/share/cmf/ : 程序安装目录。/usr/lib64/cmf/ : Agent程序代码。/var/lib/cloudera-scm-server-db/data : 内嵌数据库目录。/usr/bin/postgres :
转载
2023-06-30 14:41:55
419阅读
CDH集群的搭建及简单使用 一、CM集群部署 1、确认防火墙问题及端口权限并关闭SELinux服务. 2、搭建yum源 开启httpd服务：service httpd start 建立CM RPM包和parcels源的目录： mkdir -p /var/www/html/cm5/redhat/6/x86_64 mkdir -p
转载
2024-05-13 15:46:26
119阅读
目录1. 离线安装(parcel)1.1 环境1.2 下线离线包1.2.1 下线Cloudera Manager1.2.2 下载cdh包1.3 主机名及IP1.3.1 cm1.3.2 agent1.3.3 验证1.4 设置/etc/hosts1.5 禁用ipv61.5.1 查看ipv6状态1.5.2 关闭ipv61.5.3 验证1.6 NTP1.6.1 安装ntp1.6.2 cm配置nt
cdh中使用hue使用教程 Philips Hue lights are great to have in your house, and they can add a lot of convenience to your living space. However, what if you want to use these smart bulbs outdoors in
转载
2023-12-08 16:08:34
61阅读
1.MapReduce shuffle处理程序和IFile阅读器使用本机Linux调用，在安装了Hadoop本机库的Linux系统上。
2.改善随机处理程序
1.您可以通过启用shuffle readahead来改进MapReduce shuffle处理程序的性能。
这会导致TaskTracker或节点管理器在通过套接字将其发送到reducer之前预读取
转载
2024-07-19 18:34:19
50阅读
安装步骤第一步：修改主机名 修改/etc/sysconfig/network文件： NETWORKING=yes HOSTNAME=master其中HOSTNAME与主机名一致。主机名如果跟系统安装时不一致请执行hostname命令让其立即生效，否则会影响各节点互相访问。修改/etc/hosts文件，添加： 192.168.1.101 master 192.168.1.102 node1 192.
转载
2024-04-22 12:55:23
142阅读
一、概念介绍 1、CDH 概览 CDH是Apache Hadoop和相关项目的最完整、最受测试和最流行的发行版。CDH提供Hadoop的核
原创
2022-10-21 13:55:04
1399阅读
Solr性能调优 Solr性能调优是个复杂的过程，本文旨在描述Solr在使用过程中对性能优化的注意事项。 在安装完成之后的调优 有些配置最好在安装之后立马修改，这样可以避免修改配置之后需要重复索引。 配置一个必须的Lucene版本 配置一个我们安装的最新版本的Lucene版本，最新的版本将拥有最新的特性以及对一些已知bug的修复，推荐使用solr最新版的lucene版本，该配置在solrconf
安装前的准备工作配置主机名、hosts、开启PermitRootLogin、设置密码 、做免密 、java环境变量、时间同步安装过程概述（Ubuntu18.04安装）(centos7离线安装参考)http://ro-bucharest-repo.bigstepcloud.com/cloudera-repos/cm6/redhat/7/x86_64/cm/6.2.0/RPMS/x86_64/(免费的
转载
2024-05-12 18:09:44
164阅读
1、环境说明系统环境：系统环境：centos6.7Hadoop版本：CDH5.5JDK运行版本：1.7.0_67集群各节点组件分配：
2、准备工作安装 Hadoop 集群前先做好下面的准备工作，在修改配置文件的时候，建议在一个节点上修改，然后同步到其他节点。因为要同步配置文件和在多个节点启动服务，建议配置 ssh 无密码登陆。
2.1配置hostsCDH 要求使用 IPv
转载
2024-08-02 11:16:59
146阅读
cdh5.10安装——入门教程首先介绍一下cdh是什么。cdh是用来集中管理hadoop集群的工具。它在hadoop上进行了封装，提供了webUI界面对集群的状态进行监控和操作。 下面介绍一下cdh安装时都需要安装什么。1、cloudera-manager提供管理集群的功能。2、安装好cloudera-manager之后，可以通过图形界面安装parcel，然后再安装hadoop等。&nb
转载
2023-10-03 08:31:35
116阅读
第一章：CDH添加kafka服务1.1 在集群中add service第二章：Spark2部署第一章：CDH添加Kafka服务添加kafka服务的时候会跳出来一句话：Before adding this service， ensure that either the kafka parcel is activated or the kafka package is installed.那我们去哪儿
转载
2024-03-12 22:08:13
207阅读
1. Hadoop是什么Hadoop是一个由Apache基金会所开发的分布式系统基础架构。主要解决，海量数据的存储和海量数据的分析计算问题。广义上来说，Hadoop通常是指一个更广泛的概念——Hadoop生态圈。2. Hadoop的三大发行版本Apache版本最原始（最基础）的版本，对于入门学习最好。2006年Cloudera内部集成了很多大数据框架，对应产品CDH ,2008年Hortonwor
转载
2023-10-08 00:22:45
100阅读
CDH安装包下载地址：://archive.cloudera/cdh5/repo-as-tarball/5.3.2/ CDH5.3.2官方安装说明文档地址：://cloudera/content/cloudera/en/documentation/core/latest/topics/cdh_ig_cdh5_cluster_deploy.html :
转载
2023-12-05 23:44:41
86阅读
CDH安装文档目录 文章目录0、准备1、配置免密码登录2、配置环境变量2.1、配置主机名，安装JDK2.2、安装mysql2.2.1、查看mysql是否安装2.2.2、主节点安装mysql2.4、NTP安装3、CDH Manager包文件文件上传分发4、CDH5的安装配置5、hdfs的高可用配置6、kafka安装7、配置修改8、断电启动异常（重要） 0、准备虚拟机或者实体机，安装CenterOs
转载
2023-08-18 13:21:36
168阅读
一、Hadoop在CDH和HDP中的使用咱们前面学习了官方的Apache Hadoop版本，我们前面也说了，在实际工作中其实会使用CDH或者HDP，那下面我们就看一下在CDH和HDP中如何操作Hadoop。注意了，在这里我不打算讲CDH和HDP的安装部署，意义不大，咱们是开发人员，主要侧重于代码开发，安装部署的工作是运维人员的，咱们不能抢饭碗啊，什么都让你做了，别人不就得喝西北风啊，这样太不地道了
转载
2023-07-04 14:14:50
113阅读
一、安装包下载链接：https://pan.baidu.com/s/1G6V9u5PDyxlixZ2PwGWdJA
提取码：q8mb注：以上安装包是一个zip包，内包含安装CDH6.1所有的包，下载后解压即可二、上传安装包到master节点注意：这里的安装目录最好以本文为主，这样后面的指令直接可以粘贴复制即可，不用修改1、在root目录下新建cloudera目录，并将下载的安装包放于里面指令：#
转载
2024-04-20 20:23:20
322阅读
1.下载组件首先去CDH网站上下载hadoop组件地址：http://archive.cloudera.com/cdh5/cdh/5/注意版本号要与其他的组件CDH版本一致 2.环境配置设置主机名和用户名配置静态IP配置SSH免密登录配置JDK3.配置HADOOP1.新建用户hadoop，从root用户获取/opt文件夹的权限，所有节点都要执行 useradd -m hadoop -s
转载
2023-08-31 20:36:09
85阅读
