时间去搭建大数据环境，配置各种另人眼花缭乱的配置文件 各种大数据组件：hdfs、yarn、hive、zookeeper、flume、azkaban、saprk、Phoenix、hbase、sqoop、MongoDB、elasticsearch.....等等等等
原创
2021-12-15 13:42:23
320阅读
一、 环境准备1、 3台Linux服务器（CentOS8)可以使用克隆方式：2、 服务器安装好RabbitMQ（包含erlang)安装参考链接：二、 开始搭建1、 修改主机名每一台主机都修改，使用以下命令打开hostname文件，修改主机名vim /etc/hostname
#分别修改为 node1、node2、node3
#修改完要重启系统，才能生效
#使用hostname查看主机名
hostn
pizibaidu http://pizibaidu.blog.51cto.com/1361909/1318684 一．简述：Hadoop是一种分布式系统基础架构，由Apache基金会开发。用户可以在不了解分布式底层细节的情况下，开发分布式程序，充分利用集群的威力高速运算和存储。Hadoop 1.2.1版本下载地址：http://apache.dataguru.cn/hadoop/common/h
1. 什么是SOTASOTA全称是云端软件升级（Software updates Over The Air），就是指在不连接烧写器的情况下，通过CAN、UART或其它通讯方式，实现应用程序的更新。在进行SOTA时，需要把旧的应用程序擦除，把新的应用程序写入。常规的实现方式需要分别开发BootLoader程序和APP程序，MCU上电先运行BootLoader，BootLoader根据情况选择是否跳转
该文主要记录了自己用云服务器搭建集群的过程，也分享一些自己遇到的问题和解决方法。里面可能提及一些自己的理解，可能不够准确，希望大家能够指正我，谢谢。1.什么是HA集群HA ：High Available问题：对于只有一个namenode的集群，如果namenode的集群出现故障，集群将无法使用直到重新启动。方法：开启HDFS的HA功能，通过在不同节点上设置Active/Standby两个namen
转载
2023-09-13 15:43:47
297阅读
redis主从配置实验环境：一台机器上，启动两个redis服务，通过两个不同的端口，模拟两台机器。拷贝一份redis配置文件：[root@shuai-01 default]# cp /etc/redis.conf /etc/redis2.conf更改配置文件的端口号，pidfile,logfile,dirport 6380
pidfile /var/run/redis_6380.pid
logfi
转载
2023-08-11 21:13:35
106阅读
文章目录配置系统网络（静态）新增集群(三台)hadopp集群的部署配置系统网络（静态）配置系统网络（静态）第一步 查看虚拟机唯一标识（MAC地址）查看虚拟机设置00:0C:29:95:6F:C4MAC地址需要详细记录（很关键)第二步 调整70-persistent-net.rules文件删除掉红色框内的内容将eth1 改为eth0（当前网卡编
原创
2022-03-02 14:37:18
141阅读
说明CentOS下ElasticSearch集群搭建集群搭建的一些准备工作是基于单节点安装，具体参照我的上一篇文章“CentOS下安装ElasticSearch”本案例以单服务器多端口模拟集群环境（由node-9201、node-9202、node-9203三个节点共同组成）ES集群正常工作至少需要3台服务节点。如果只有两台节点，当主节点挂掉后会导致另一台是无法被选举为主节点，最终导致整个集群停止
文章目录 前言1. 配置网卡2. 设置主机名与IP地址解析 总结 前言 在同一个VMware上建三个虚拟机，分别配置静态IP（会设置主机名）1. 配置网卡sudo vim /etc/sysconfig/network-scripts/ifcfg-ens33如果没有ifcfg-ens33（外网）文件，就设置ifcfg-ens32（
转载
2023-08-05 18:23:05
109阅读
hdfs 是一个分布式系统，只要有足够的资源，可以扩容到上千台的集群，name node rpc queue time在持续的一周左右时间性能恶化。在极端环境下，出现一个rpc查询需要等待好几分钟。l
原创
2021-07-05 18:05:02
769阅读
首先说下我这里的服务器环境有三台EXSi服务器，和一台用于管理ESXi服务器的Vsphere Server管理主机，都在210网段，vsphere server的主机上面安装的是windows server 2008R2 x64系统，三台服务器共享一个磁盘阵列的储存，三台服务器的虚拟机都创建在磁盘阵列里面，还有一台内网的电脑，安装了Vsphere Client，主要用于登陆到vsphere ser
Zookeeper的扩容和缩容目的是用三台新的ZK服务器替换老的三台，所以采取先扩容再缩容的方式来进行。扩容环境描述原有ZK服务器计算机名称IP地址角色myidSrv01172.16.100.10Follower1Srv02172.16.100.20Follower2Srv03172.16.100.30Leader3新加入ZK服务器计算机名称IP地址角色myidSrv04172.16.100.40
转载自http://blog.51cto.com/wzlinux/2094598一、介绍VMware vCenter Server 提供了一个可伸缩、可扩展的平台，为虚拟化管理奠定了基础。可集中管理VMware vSphere环境，与其他管理平台相比，极大地提高了 IT 管理员对虚拟环境的控制。VMware vCenter Server：提高在虚拟基础架构每个级别上的集中控制和可见性，通过主动管理
文章目录1.集群(三台)1.1 新增linux系统1.2 三台机器 关闭防火墙1.3 三台机器关闭selinux1.4 三台机器更改主机名1.5 三台机器 给ip地址起别名1.5.1 给ip地址起别名1.5.2 测试1.6 `scp` 远程文件拷贝1.6.1 scp 是什么1.6.2 从本地拷贝到远程机器上1.6.3 将远程机器内容复制到本地机器上1.7 ssh远程登录1.7.1 目标1.7.2
1 .准备Zookeeper安装包上
原创
2022-07-22 21:03:12
66阅读
怎么又提到数据中台了，现在不是都在拆中台了吗？这是一个疑惑，我一直也疑惑，也没有认真想过，以前也是道中途说。没有想到面试的时候，面试官又问道这个问题了。我一开始的理解是：数据中台整合了数据仓库、数据平台等，直到网上查阅了一些资料才知道，原来中台和平台、数仓是平行的，并没有什么直接的关系，看图：三者的关键区别有以下几方面：数据中台是企业级的逻辑概念，体现企业
因项目dev环境是单台redis，redis+lua实现分布式锁并没有问题，预生产是集群的redis，报错EvalSha is not supported in cluster environment 下面是正确的集群解决方案package com.zuma.coupon.util;
import com.zuma
转载
2023-06-27 23:43:13
119阅读
半夜含泪恢复故障，有多心酸你懂的……
原创
2022-07-30 11:59:52
242阅读
作为运维人员，做得最多的工作就是日常巡检
转载
2021-07-23 15:22:53
331阅读
数据中台的由来数据中台最早是阿里提出的，但真正火起来是2018 年，我们能感受到行业文章谈论数据中台的越来越多。大量 。数据中台包含数仓体系、数据服务集和BI 平台。1、是...
原创
2023-03-16 20:18:49
356阅读
