首先说明下，整理的比较乱，遇到问题，解决问题即可1. 需要确认部署的服务器ip0 1 2 3 代表四个ip另外需要一台服务器，做远程操控用2. 在操控机上 执行 ssh-keygen，生成本机秘钥文件（如果已经有，跳过本步骤），比如用户 test，秘钥文件路径为 /home/test/.ssh/操控机上需要安装ansible 配置ansible安装源wget -O /etc/yum.re
转载
2023-08-08 11:45:47
121阅读
1.1 什么是 Ansible?Ansible是一款自动化运维工具，基于Python开发，集合了众多运维工具（puppet、cfengine、chef、func、fabric）的优点，实现了批量系统配置、批量程序部署、批量运行命令等功能。Ansible是基于模块工作的，本身没有批量部署的能力。真正具有批量部署的是Ansible所运行的模块，Ansible只是提供一种框架。主要包括： (1) 连接插
背景出于数据安全的考虑，自研了一个低成本的时序数据存储系统，用于存储历史行情数据。系统借鉴了 InfluxDB 的列存与压缩策略，并基于 HBase 实现了海量存储能力。由于运维同事缺乏 Hadoop 全家桶的运维经验，只能由我这个研发临时兼职，亲自指挥亲自部署了。Hadoop 发行版选择目前可选的方案并不多，主要有：CDH 目前中小企业选型首选的发行版Amibari 最为灵活的且可定制的发行版A
转载
2023-09-15 18:50:52
67阅读
点赞
文章目录一：ansible简单介绍1.1：Ansible架构图及工作流程1:2：ansible工作机制二：Ansible基础安装部署2.1：安装Ansible2.2：配置ssh分发2.21：生成密钥2.22：分发密钥到被管理端2.3：设置免交互ssh-agent代理 一：ansible简单介绍ansible是新出现的自动化运维工具，基于Python开发，集合了众多运维工具（puppet、cfen
首先来看一个例子：假设我想得到主机IP为172.25.250.9的完全限定域名（FQDN)，但是我无法登录该主机，那么就可以用本机里面的hostvars魔法变量（后面会分享我对魔法这个词的理解）这个字典里面的ansible_fact这个子字典（后面会补充解释）来得到。首先让我们来看看hostvars里面都是些啥，我们可以通过一下命令来查看hostvars这个字典：ansible locahost
# Ansible部署Hadoop
在大数据领域，Hadoop是一个广泛使用的分布式计算框架，用于存储和处理大规模数据集。为了简化Hadoop的部署和管理过程，我们可以使用Ansible这个自动化工具来完成。本文将介绍如何使用Ansible来部署Hadoop集群。
## 准备工作
在开始之前，我们需要准备以下工作：
- 一台控制机：即Ansible的运行环境，可以是任何Linux系统。
-
原创
2023-09-15 09:21:13
153阅读
一、Ansible介绍简介
Ansible使用Python语言开发，是一个配置管理型工具，与之类似的工具还有Puppet、SaltStack、chef等，默认通过SSH协议进行远程命令执行或下发配置，无需部署任何客户端代理软件，可同时支持多台主机进行管理，Ansible是基于模块工作的，本身没有批量部署的能力，真正具有批量部署的是Ansible所运行
# Hadoop HA集群 Ansible
## 概述
Hadoop是一个开源的分布式计算平台，它提供了可靠的数据存储和处理能力。HA（高可用性）是Hadoop集群中一个重要的特性，它保证了集群的可用性和容错性。Ansible是一个自动化工具，可以帮助我们快速搭建和管理Hadoop HA集群。
在本文中，我们将会介绍如何使用Ansible来搭建和配置Hadoop HA集群，包括主节点和备节点
部署准备本次部署采用 ansible，以及 CDH (cloudera hadoop)。由于作为例子，仅展示最小化的集群部署（ 六个节点 ）。详细部署方式可以参考官方文档。点击这里角色分配 cdh-01: nn, rm, hmaster
cdh-02: nn, rm, hmaster
cdh-03: dn, nm, zk, jn, rs
cdh-04: dn, nm, zk, jn, r
关于cassandra3集群部署通常情况下的cassandra3集群部署操作如下：安装JDK；设置JDK环境变量；创建运行cassandra服务的群组和账号；安装cassandra；设置cassandra环境变量；设置cassandra参数；设置cassandra日志目录和文件目录；上述操作要在每台机器执行，手动操作较为费时，因此用ansible来完成上述所有步骤，除了省事儿，还减少了操作失误的概
Ansible工作机制ansible是新出现的自动化运维工具，基于Python开发，集合了众多运维工具（puppet、cfengine、chef、func、fabric）的优点，实现了批量系统配置、批量程序部署、批量运行命令等功能。 ansible是基于模块工作的，本身没有批量部署的能力。真正具有批量部署的是ansible所运行的模块，ansible只是提供一种框架。Ansible架构Ansib
原创
精选
2020-08-30 15:23:57
2344阅读
点赞
# Ansible部署Redis集群
## 1. 引言
Redis是一个开源的高性能键值存储数据库，广泛应用于缓存、消息队列、发布订阅系统等场景。在实际使用中，为了提高可用性和性能，我们通常会将Redis部署为一个集群，以实现数据的分布和负载均衡。
Ansible是一个自动化运维工具，它可以通过脚本实现服务器的自动配置和部署。本文将介绍如何使用Ansible来自动化部署Redis集群，并提供
首先，高可用集群是建立在zookeeper搭建没有问题的前提下来完成的，没有搭建好zookeeper的，先搭好才可以做以下操作。 一：前期准备（只需要在主节点master上完成） 1.拍摄快照 想拍就拍，不想拍算了，建议还是拍一个，毕竟万一搭不好，还可以回到你这个状态，记得给快照加个备注，以防忘记你这个快照是干嘛的。最好关机状态下拍。 2.删除完全分布式集群rm -rf /usr/local/
转载
2023-07-24 14:28:37
69阅读
目录hadoop的几种部署模式：单机模式：伪分布式模式：完全分布式模式：高可用模式：联邦模式：安装分布式的准备：伪分布式安装：完全分布式安装：高可用模式安装过程中的问题1.查看集群日志2.主机名3.启动的时候某一个进程启动不了（jps查看进程）4.格式化的问题 5.时间同步问题6.环境变量的配置hadoop的几种部署模式：单机模式：安装在一个节点上。不存在分布式文件系统，所有的文件存取都
转载
2023-09-14 13:50:18
128阅读
1.Hadoop的3种运行模式 单机模式：安装简单，几乎不用作任何配置，但仅限于调试用途 伪分布模式：在单节点上同时启动namenode、datanode、jobtracker、tasktracker、secondary namenode等5个进程，模拟分布式运行的各个节点  
原创
2015-05-09 15:35:44
569阅读
Hadoop部署1. 安装完全分布式Hadoop1.1 安装准备工作1.1.1 规划 本安装示例将使用六台服务器(CentOS 6.5 64bit)来实现，其规划如下所示： IP地址 &nb
原创
2015-11-06 11:29:01
1858阅读
一、Hadoop框架简介Hadoop的框架最核心的设计就是：HDFS和MapReduce。HDFS为海量的数据提供了存储，则MapReduce为海量的数据提供了计算。HDFS(HadoopDistributionFileSystem)，称为Hadoop分布式文件系统，主要特点：HDFS最小以64MB的数据块存储文件，相比其他文件系统中的4KB~32KB分块大得多。HDFS在时延的基础上对吞吐量进行
原创
2018-09-17 13:21:36
805阅读
上一篇中搭建了4台linux虚拟机，用这4台虚拟机就可以搭建一个完全分布式hadoop集群了。1.虚拟机规划集群中包括4个节点，1个master，3个Salve，节点之间局域网连接，可以相互ping通，节点IP地址分布如下： 机器名称IP地址Master 219.244.84.92Slave1 219.244.84.93Slave2219.244.
转载
2023-09-15 12:31:02
120阅读
关闭防火墙systemctl stop firewalld.servicesystemctl disable firewalld.service
原创
2023-03-10 14:55:40
76阅读
