已经研究了一段时间的hadoop了,由于最近事情实在太多,完全抽不出时间来整理资料,今天总算有时间了,整理下资料,也算对这段时间的总结吧。在这互联网时代,大数据的发展已经是势不可挡,顺应时代潮流,冲进互联网风口,研究hadoop也让我心情澎湃.详细的说下hadoop的环境搭建,因为这个过程中对初学者来说是会出现各种各样的问题:首先说下正确的搭建方式,然后在说下我们团队在搭建环境中出现的各种问题以及
转载
2024-09-27 03:04:18
26阅读
# 本文档基于CentOS7.6发行版最小化安装部署 # 环境准备： IP hostname configuration role 192.168.200.141 LB1 1C2G LB/VIP:192.168.200.20 192.168.200.142 LB2 1C2G LB 192.168.2 ...
转载
2021-09-22 09:26:00
512阅读
2评论
kubernetes生产环境高可用部署
原创
精选
2020-03-22 13:54:13
9757阅读
点赞
3评论
大数据平台生产环境部署指南@(Hadoop)总结一下在生产环境部署Hadoop+Spark+HBase+Hue等产品遇到的问题、提高效率的方法和相关的配置。集群规划假设现在生产环境的信息如下：服务器数量：6操作系统：Centos7Master节点数：2Zookeeper节点数：3Slave节点数：4划分各个机器的角色如下：主机名角色运行进程hadoop1MasterNamenodehadoop2M
转载
2024-03-05 22:47:33
153阅读
1、数据库主从架构与分库分表 随着现在互联网的应用越来越大，数据库会频繁的成为整个应用的性能瓶颈。而我们经常使用的MySQL数据库，也会不断面临数据量太大、数据访问太频繁、数据读写速度太快等一系列的问题。所以，我们需要设计复杂的应用架构来保护孱弱的数据库，例如添加Redis缓存，增加MQ进行流量削峰等等。但是，数据库本身如果不能得到提升，这就相当于是水桶理论中的最短板。 而要提升数据库的性能，一种
转载
2023-11-23 14:08:54
138阅读
1、建立三个consul节点（一个server+两个client） 具体的过程见http://www.cnblogs.com/java zhao/p/5375132.html 1）在终端下启动vagrant vagrant up（Vagrantfile还是建立两个节点，如下） 1 mode: rub
转载
2019-11-27 16:15:00
171阅读
2评论
java application项目（非web项目）改进前： -Xms128m
-Xmx128m
-XX:NewSize=64m
-XX:PermSize=64m
-XX:+UseConcMarkSweepGC
-XX:CMSInitiatingOccupancyFraction=78
-XX:ThreadStackSize=128
-Xloggc:logs/gc.log
-Dsun.rmi.dg
二、原理 产生背景：Hadoop 1.0中HDFS和MapReduce在高可用、扩展性等方面存在问题 HDFS存在的问题 NameNode单点故障，难以应用于在线场景 HA NameNode压力过大，且内存受限，影扩展性 F MapReduce存在的问题 &nb
转载
2023-06-20 18:21:08
227阅读
Hadoop是一个用于分布式存储和处理大规模数据的开源软件框架。在生产环境中，高可用部署是非常重要的，以确保数据的持续可靠性和稳定性。在Kubernetes上进行Hadoop的高可用部署是一个很好的选择，通过K8S资源管理和自愈能力，可以提高Hadoop集群的可靠性和容错性。
整个过程可以分为以下几步：
| 步骤 | 内容 |
|------|------
原创
2024-05-23 09:42:58
82阅读
最近刚遇到个问题，我要给自己做的网站加个无限 debugger 反爬，网站是基于 Vue.js 开发的，比如我就想在 main.js 里面加这么一段： setInterval(() => {
debugger
console.log('debugger')
}, 1000) 当时在 Debug 环境下一切好好的，但是到了 build 之后，再运行发现 debugger 就没了，这
转载
2024-04-18 11:43:48
52阅读
说明： 以下操作三台（nodeone,nodetwo,nodethree）同步操作1.解压hadoop压缩包[root@nodetwo install]# tar -zxvf hadoop-2.6.0-cdh5.14.2.tar.gz2.重命名[root@nodetwo install]# mv hadoop-2.6.0-cdh5.14.2 hadoop[root@nodetwo install]
原创
2022-11-02 15:13:12
169阅读
前言因资源成本问题，本Harbor高可用架构为最小开销方案，如果资源充足，可以将PG、Redis全部使用使用云厂商集群模式。同时为了配置简单，并没用使用keepalived与heartbeat等高可用开源组件。准备工作 阿里云SLB 阿里云ECS 共享存储 Redis 最小实例SLB 2c4g 俩台 阿里云NFS 阿里云Redis 操作系统为Ubuntu18.04，
推荐
原创
2022-02-16 18:21:39
3368阅读
点赞
# 生产环境高可用 Redis 集群
## 引言
Redis 是一个开源的内存数据结构存储系统，广泛应用于高速缓存、实时分析和消息队列等场景。为了在生产环境中实现高可用，Redis 提供了一种集群模式，可以将数据分布到多个节点上，并在某一个节点故障时自动转移流量，以确保服务的持续可用性。
## Redis 集群架构
在构建高可用的 Redis 集群前，首先需要了解 Redis 集群的架构。
# Hadoop高可用集群部署指南
Hadoop是一种流行的分布式计算框架，而高可用集群则是保证服务可靠性的重要方式。本文将带你一步步实现Hadoop高可用集群的部署。下面是整个流程的概述：
## 部署流程概述
| 步骤 | 描述 |
|-------|-----------------------------------|
| 1
原创
2024-10-30 08:59:17
211阅读
目录1. 介绍2. 基础环境2.1 关闭防火墙2.2 修改主机名和主机映射2.3 免密登录2.4 安装jdk3. 搭建hadoop3.x完全分布式3.1 下载包地址3.2 上传并解压3.3 创建目录3.4 修改配置文件 3.4.1 core.site.xml 3.4.2 hdfs-site.xml 3.4.3 yarn-site
生产环境k8s高可用部署方案
作为经验丰富的开发者，我将指导你如何实现在生产环境中使用Kubernetes（K8S）进行高可用部署。下面是整个过程的步骤，我们将逐步进行说明：
| 步骤 | 内容 |
| --- | --- |
| 步骤一 | 安装和配置Kubernetes集群 |
| 步骤二 | 配置高可用控制平面 |
| 步骤三 | 配置高可用的工作节点 |
步骤一：安装和配置Kuber
原创
2024-01-24 10:24:50
130阅读
# Hadoop Namenode 高可用部署
## 1. 概述
Hadoop Namenode 高可用部署是为了提高Hadoop集群的可靠性和可用性。在传统的单节点部署中，如果Namenode节点发生故障，整个Hadoop集群将无法使用。高可用部署通过使用两个或多个Namenode节点，其中一个为Active节点，负责处理客户端的请求，另一个为Standby节点，处于备份状态，可以自动切换为A
原创
2023-07-24 09:52:33
185阅读
环境规划服务器名称IP地址角色安装组件版本备注master_147.140.1.41192.168.1.101masteretcd-v3.3.11kube-apiserverkube-controller-managerkube-schedulerdockerv1.16.6master节点master_247.140.1.42192.168.1.102192.168.1.101etcd-v3.3.
原创
2021-03-10 14:26:27
7581阅读
nginx双机热备什么是高可用集群？解决的问题？双机热备方案1.keepalived是什么？2. 故障转移机制实现过程安装keepliaved修改主机（192.168.16.128）keepalived配置文件修改备机（192.168.16.129）keepalived配置文件检测脚本keepalived无法用systemctl stop keepalived杀死 准备工作： 192.168
转载
2024-02-21 10:55:20
78阅读
准备工作： 主：192.168.1.10 备: 192.168.1.11 VIP:192.168.1.130两台虚拟机。安装好Nginx安装Nginx更新yum源文件：rpm -ivh http://nginx.org/packages/centos/7/noarch/RPMS/nginx-r
转载
2024-04-10 09:28:35
56阅读
