前不久，滴滴ES团队将维护的30多个ES集群，3500多个ES节点，8PB的数据，从2.3.3跨大版本无缝升级到6.6.1。在对用户查询写入基本零影响和改动的前提下，解决了ES跨大版本协议不兼容、文件格式不兼容、mapping不兼容等难题，整个过程对绝大部分用户完全透明。同时还完成了Arius的架构升级，取得了单机查询性能提升40%，整体集群cpu下降10%，写入tps提升30%，集群资源使用率提
转载
2024-08-27 21:06:02
72阅读
前言：由于考虑到elasticsearch单节点的不稳定性和服务的高可用性，随着用户量和数据量的增加，elasticsearch需要搭建集群，集群的优点这里就不赘述了。一、准备环境1.192.168.11.24 和192.168.11.25（需要安装java环境）2.elastisearch安装包：elasticsearch-6.2.2.tar.gz，3.两个服务器上需要创建es权限的非root用
转载
2024-03-27 08:18:59
743阅读
1. Redis集群的环境搭建(windows)1.1. 环境 Redis集群：如果部署到多台电脑，就跟普通的集群一样；因为Redis是单线程处理的，多核CPU也只能使用一个核，所以部署在同一台电脑上，通过运行多个Redis实例组成集群，然后能提高CPU的利用率。需要4个部件：Redis： 安
转载
2024-04-18 13:49:31
81阅读
1.什么是redis?Redis 是一个基于内存的高性能key-value数据库（有理解错误或不足欢迎指正）。2.Reids的特点Redis本质上是一个Key-Value类型的内存数据库，很像memcached，整个数据库统统加载在内存当中进行操作，定期通过异步操作把数据库数据flush到硬盘上进行保存。因为是纯内存操作，Redis的性能非常出色，每秒可以处理超过 10万次读写操作，
转载
2024-06-20 09:52:14
19阅读
为什么要有集群 一主可以有多从，如果同时的访问量过大或者发生自燃灾害，主服务可能会挂掉，数据服务就会挂掉 大公司都会有很多的服务器（华东、华南、华中等等）集群概念 集群是一组相互独立的、通过高速网络互联的计算机，它们构成了一个组，并以单一系统的模式加以管理。一个客户与集群相互作用时，集群像是一个独立的服务器。集群配置是用于提高可用性和可缩放性。Redis集群 分类 软件层
转载
2023-08-05 18:10:44
67阅读
作者 | Tina作为最活跃的大数据项目之一，Flink 进入 Apache 软件基金会顶级项目已经有八年了。Apache Flink 是一款实时大数据分析引擎，同时支持流批执行模式，并与 Hadoop 生态可以无缝对接。2014 年，它被接纳为 Apache 孵化器项目，仅仅几个月后，它就成为了 Apache 的顶级项目。对于 Flink 来说，阿里有非常适合的流式场景。作为 Flin
Elasticsearch的集群介绍和搭建和集群脑裂现象探讨以及集群的读写原理介绍：正常情况下，单机es可以用，但是我们还是需要关注下高可用，一般我们可以把es搭建成集群，2台以上就能成为es集群了。集群不仅可以提升系统的稳定性还能能实现海量数据存储的横向扩展。一、elasticsearch集群搭建规则1.例如我们现在有5个主分片，每个主分片还对应有一个备用分片，我们有三台服务器，部署的方式如下图
转载
2024-03-17 14:02:04
328阅读
说明本博文较长，但是有效，如若计划安装多节点的hadoop，请一步一步坚持下去，有问题请留言，我们可以讨论来解决问题。 本人将该4个节点的hadoop安装在了vmware上了，同时支持安装在物理机或者vmware ESXi上。节点说明ip地址hadoop01主节点192.168.10.61hadoop02从节点192.168.10.62hadoop03从节点192.168.10.63hadoop
前言 前面几篇简单介绍了什么是大数据和Hadoop，也说了怎么搭建最简单的伪分布式和全分布式的hadoop集群。接下来这篇我详细的分享一下HDFS。 HDFS前言：将大文件、大批量文件，分布式存放在大量服务器上，以便于采取分而治之的方式对海量数据进行运算分析。为各类分布式运算框架（如：mapreduce，spark，tez，……）提供数据存储服务。 分布式文件系统： 问题引发：海量数据
转载
2024-03-20 14:14:39
41阅读
目录安装jdk安装hadoop配置ssh配置集群 集群启动及测试附录Hadoop组成HDFS架构概述YARN架构概述MapReduce架构概述 大数据技术生态体系小二是一名学生，他在研究大数据，那么hadoop是必不可少要去学习的。他没有多余的linux机器，只能用自己的笔记本安装VMware虚拟机程序，他克隆了三台cent
转载
2023-07-21 14:56:53
126阅读
Kubernetes（K8S）是一个开源的容器编排系统，用于管理和自动化应用程序的容器化部署、扩展和操作。在使用Kubernetes的过程中，我们需要了解Kubernetes集群的最小机器配置，即需要多少台机器才能搭建一个可用的Kubernetes集群。本文将为刚入门的开发者介绍Kubernetes集群的最小机器配置，并提供相应的代码示例。
首先，我们需要了解Kubernetes集群的基本架构和
原创
2024-02-01 09:43:19
205阅读
在部署Ceph 分布式存储系统时，许多人都会好奇至少需要多少台机器才能使其正常运行。事实上，Ceph 的最少机器部署数量是三台。这是因为Ceph 核心组件包括 Monitor（监控节点）、OSD（对象存储设备）和 Manager（管理节点），每个组件至少需要一台独立的机器来保证系统的高可用性和稳定性。
首先，让我们来看看 Monitor。Monitor 节点主要负责集群的状态、配置信息以及成员信
原创
2024-02-28 09:53:02
796阅读
步骤1：将安装包hadoop-2.2.0.tar.gz存放到某一目录下，并解压；
步骤2：修改解压后的目录中的文件夹etc/hadoop下的xml配置文件（如果文件不存在，则自己创建），包括hadoop-env.sh、mapred-site.xml、core-site.xml、hdfs-site.xml和yarn-site.xml；
步骤3：格式化
转载
2023-10-07 23:17:59
121阅读
一、主机规划3台主机：1个master、2个slaver/worker ip地址使用docker默认的分配地址：master： 主机名： hadoop2、ip地址： 172.17.0.2slaver1： 主机名： hadoop3、ip地址： 172.17.0.3 主机名： hadoop4、ip地址： 172.17.0.4
二、软件安装1、在docker中安装centos镜像，并启动c
转载
2023-07-19 19:26:35
150阅读
1 先决条件确保在你集群中的每个节点上都安装了所有必需软件：sun-JDK ，ssh，Hadoopssh 必须安装并且保证 sshd一直运行，以便用Hadoop 脚本管理远端Hadoop守护进程。 2 实验环境搭建（3台主机）1) 首先设置namenode的ssh为无需密码的、自动登录。准备机器：一台master，若干台slave，配置每台机器的
转载
2024-08-14 10:35:02
57阅读
文章目录准备工作安全拷贝远程同步免密登录同步脚本正式搭建分布式集群Hadoop完全分布式最终版 准备工作我们在搭建完一台Hadoop机器之后，要再克隆两份机器，我们要将这三台机器的主机名，ip重新配置一下。 三台机器上的节点规划如下 Hadoop中的进程在多台机器运行！HDFS: 1个nn+N个DN
n个2nn
YARN: 1个RM+N个NM
避免单点故障，NN和RM建议分散到多台机器
转载
2024-05-28 09:46:20
44阅读
摘要：时至今日，Hadoop已成为最流行的离线数据处理平台，然而它的集群配置起来并不简单。如果你学习Hadoop不久，相信下面这45个问题会对你有所帮助。在工作生活中，有些问题非常简单，但往往搜索半天也找不到所需的答案，在Hadoop的学习与使用过程中同样如此。这里为大家分享Hadoop集群设置中经常出现的一些问题，以下为译文： 1.Hadoop集群可以运行的3个模式？●单机(本地)模
转载
2024-06-07 12:20:35
0阅读
使用docker进行跨主机mysql-cluster集群实践构建集群环境搭建docker swarm集群创建docker跨主机overlay网络用docker启动mysql-clustermysql-cluster的配置安装 构建集群环境搭建docker swarm集群在进行mysql-cluster集群前，我们需要设置好docker的集群环境，使用docker swarm模式来进行docker
转载
2024-05-15 21:34:21
172阅读
一、介绍========这篇文档旨在介绍如何安装配置基于2台服务器的MySQL集群。并且实现任意一台服务器出现问题或宕机时MySQL依然能够继续运行。注意！虽然这是基于2台服务器的MySQL集群，但也必须有额外的第三台服务器作为管理节点，但这台服务器可以在集群启动完成后关闭。同时需要注意的是并不推荐在集群启动完成后关闭作为管理节点的服务器。尽管理论上可以建立基于只有2台服务器的MySQL集群，但是
转载
2024-06-15 10:01:59
163阅读
Hadoop集群安装及其配置（三台虚拟机）利安装配置前准备——安装虚拟机利用cat查看配置文件修改主机名称配置IP映射配置网卡设备的mac地址Xshell的安装与配置ssh的配置JDK的安装配置JDK的安装配置JDK环境变量jdk的环境验证Hadoop安装及配置Hadoop安装配置Hadoop系统环境变量hadoop集群主要配置文件修改Hadoop配置文件修改hadoop-env.sh文件修改c
转载
2023-10-25 13:58:06
114阅读
