ansible部署hadoop及插件
原创
2018-04-17 22:54:35
10000+阅读
点赞
1评论
一：里的服务器角色Hadoop主要的任务部署分为3个部分，分别是：Client机器，主节点和从节点。主节点主要负责Hadoop两个关键功能模块HDFS、Map Reduce的监督。当Job Tracker使用Map Reduce进行监控和调度数据的并行处理时，名称节点则负责HDFS监视和调度。从节点负责了机器运行的绝大部分，担当所有数据储存和指令计算的苦差。每个从节点既扮演者数据节点的角色又冲当与
转载
2023-07-25 00:21:14
44阅读
主要时介绍Azure网络拓扑结构，资料来自官方文档。首先介绍结构Azure的概念Vnet：虚拟网络Azure 资源之间的通信：可以将 vm 和其他几种类型的 Azure 资源部署到虚拟网络，相互通信：可以将虚拟网络彼此连接，使虚拟网络中的资源能够使用虚拟网络对等互连相互进行通信。 连接的虚拟网络可以在相同或不同的 Azure 区域中。--BGP、VPN与 Internet 通信：默认情况下，VN
前面我搭建的Hadoop都是单机伪分布式的，并不能真正感受到Hadoop的最大特点，分布式存储和分布式计算。所以我打算在虚拟机中同时开启3台机器，实现分布式的Hadoop群集。 1.准备3台Ubuntu Server 1.1复制出3台虚拟机 我们可以用之前编译和安装好Hadoop的虚拟机作为原始版本
原创
2021-07-22 15:35:14
294阅读
因为本人不熟悉linux指令，还是一个新手。在搭建的过程中遇到了或多或少的问题。所以记录下搭建过程，也方便跟我一样的初学者顺利搭建Hadoop平台。搭建集群目标：master 一台 slaver三台 所有系统均为centos 7.0版本搭建步骤流程： 1. 安装centos 7.0系统 完成网络配置等等 并使用xshell来控制终端2. 安装sun公司的jdk&
转载
2023-07-12 15:23:46
81阅读
Linux环境下安装配置Hadoop参考Hadoop官方文档进行配置。一 、 先决条件Linux和Windows所需软件包括:Java™ 必须安装，通过Hadoop官方文档，提前检查匹配的版本。ssh 必须安装并且保证 sshd一直运行，以便用Hadoop 脚本管理远端Hadoop守护进程。此次安装的版本 Linux：CentOS-8.3.2011-x86_64 Hadoop：hadoop3.3.
Hive是Hadoop生态中的一个重要组成部分，主要用于数据仓库。前面的文章中我们已经搭建好了Hadoop的群集，下面我们在这个群集上再搭建Hive的群集。 1.安装MySQL 1.1安装MySQL Server 在Ubuntu下面安装MySQL的Server很简单，只需要运行： 系统会把MySQL
原创
2021-07-22 15:35:32
134阅读
环境搭建-CentOS集群搭建写在前面
最近有许多小伙伴问我，大数据的hadoop分布式集群该如何去搭建。所以，想着，就写一篇，帮助到更多刚入门大数据的人。本篇会一步一步带你实现一个Hadoop的搭建。跟着上面的步骤，很详细的。你很快就会有一个自己的hadoop集群啦。我是在自己的windows机器上使用virtualBox来虚拟三台机器，作为实验的环境。实验环境
Windows 宿主机：Wi
转载
2023-07-04 13:41:10
85阅读
一、软件介绍1、CDH 概览CDH（Cloudera Distribution of Apache Hadoop） 是 Apache Hadoop 和相关项目中最完整、经过测试和流行的发行版。CDH 提供 Hadoop 的核心元素，可伸缩存储和可扩展分布式计算，以及基于 web 的用户界面和关键的企业功能。CDH 是 apache 授权的开放源码，是惟一提供统一批处理、交互式 SQL 和交互式搜索
首先使用yum安装好，环境需求yum -y install pcre-devel bzip2-devel gcc gcc-c++ make 然后解压源码包tar xf haproxy-1.4.24.tar.gz接下来我们就可以源码包安装了首先看一下自己的系统版本[root@root ~]# uname -r2.6.32-358.el6.i686cd haproxy-1.4.24
原创
2017-02-13 14:47:00
658阅读
haproxy搭建web群集；操作简单，实用性强，工作在iOS7层模型的应用层
原创
精选
2017-04-24 21:20:18
5643阅读
点赞
在默认情 况下，群集服务（MSCS)的文件已经安装在运行 Windows Server 2003 企业版或 Windows Server 2003 DataCenter 版本的计算机上。在 Windows 的早期版本中，若要安装群集服务需要在控制面板中的“添加/删除程序”工具中，添加群集服务组件。 本文适用于以下操作系统：
Microsoft Windows Server
转载
2009-07-29 15:09:41
405阅读
1评论
3.10 磁盘组的角色VSAN使用磁盘组这个概念，它是一个磁盘和闪存设备的容器。部署在某个磁盘组的特定（存储）设备上的虚拟机存储只能利用同一个磁盘组中的闪存设备的缓存能力。磁盘组可以被视为一个用闪存来提供性能并用磁盘或闪存来提供容量的存储设备的集合。对于磁盘组的配置有很多需要注意的地方，接下去我们将细细道来。后文中我们提到VSAN磁盘组时所说的缓存设备，指的是SSD、PCIe闪存设备和NVMe闪存
1.在kubernetes集群部署一个3个master主机和2个工作节点集群master节点至少2核4G内存，node至少1核2G内存实验环境：192.168.213.3 master1 192.168.213.4 master
## Redis 群集：打印群集状态
Redis 是一个开源的内存数据存储系统，常用于缓存、消息队列等应用场景。Redis 的集群功能允许多个 Redis 节点组成一个逻辑上的整体，共同存储数据并提供高可用性和扩展性。
在 Redis 群集中，我们需要经常查看群集的状态，以便及时发现问题并进行调整。本文将介绍如何使用 Redis 命令来打印 Redis 群集的状态。
### 打印 Redis
1：kill或者shutdown所有redis服务2：下载安全版本或者推荐版本的redis包，并解压3：进入解压后的文件夹，执行命令make & make install，默认路径是usr/local/bin4：进入每个redis端口文件夹下删除 dump.rdb文件和nodes-端口.conf文件5：进入每个redis端口文件夹并执行命令redis-server re
转载
2023-05-25 11:31:46
166阅读
文章目录前言一：环境1.1：环境1.2：实验目的二：实验过程2.1：主从服务器部署Redis软件2.2 redis 集群，所有节点参数配置2.3 重启服务，正常启动下会多3个文件2.4 在一台maser 上 安装ruby 软件2.5 具体实操如下：2.6 . 创建群集2.7 主从对应关系，前面为从，后面为主2.8 下面开始验证群集功能 前言一：环境1.1：环境VMware软件 Redis官网建议
转载
2023-09-02 20:27:44
28阅读
SQL Server的群集有两类：负载均衡和故障转移，在InformIT的SQL Server参考指南的这篇短文讨论了群集的原因和一些系统需求：负载均衡群集在实际的负载均衡群集里，所有的服务器（称为节点）都象一台机器工作，一组电脑称为仲裁，给外面用户形成单一服务器印象的电脑或软件服务称为“仲裁管理器”，仲裁管理器将处理需求传送到一个或多个服务器上。这种工作的分担方式造成非常强大
转载
精选
2006-12-26 21:04:00
457阅读
MMM（Master-MasterreplicationmanagerforMySQL）是一套支持双主故障切换和双主日常管理的脚本程序。优点：高可用性，扩展性好，出现故障自动切换，对于主主同步，在同一时间只提供一台数据库写操作，保证的数据的一致性。当主服务器挂掉以后，另一个主立即接管，其他的从服务器能自动切换，不用人工干预。master1ip地址：192.168.60.135master2ip地址
原创
2018-09-10 22:29:58
1667阅读
点赞
Hyper-V复制对比存储复制，WSFC来说，最大的一个优势就是架构灵活，可以不受架构的限制，不受存储的限制，支持足够多的场景，群集场景通过复制代理引擎会自动挑选参与复制的节点，那怕其中一个节点宕机，或者计划内要维护关机，复制代理引擎也会立刻挑选其它主机来参与复制，从可用性的角度来讲，利用复制代理能在外面Hyper-V复制机制里面再加上一层复制代理双保险，通过协调群集内复制节点，确保只要群集活着就始终有能参与复制的节点
原创
精选
2018-10-13 16:11:09
7809阅读
点赞
12评论
