首先说明下，整理的比较乱，遇到问题，解决问题即可1. 需要确认部署的服务器ip0 1 2 3 代表四个ip另外需要一台服务器，做远程操控用2. 在操控机上 执行 ssh-keygen，生成本机秘钥文件（如果已经有，跳过本步骤），比如用户 test，秘钥文件路径为 /home/test/.ssh/操控机上需要安装ansible 配置ansible安装源wget -O /etc/yum.re
转载
2023-08-08 11:45:47
174阅读
1. OpenStack 部署系统要求单机部署最低配置：2张网卡8G内存40G硬盘空间主机系统：CentOS Stream 9Debian Bullseye (11)openEuler 22.03 LTSRocky Linux 9- Ubuntu Jammy (22.04)官方不再支持CentOS 7作为主机系统，我这里使用的是Rocky Linux 9.2（最小化安装）推荐创建team或bond
1.1 什么是 Ansible?Ansible是一款自动化运维工具，基于Python开发，集合了众多运维工具（puppet、cfengine、chef、func、fabric）的优点，实现了批量系统配置、批量程序部署、批量运行命令等功能。Ansible是基于模块工作的，本身没有批量部署的能力。真正具有批量部署的是Ansible所运行的模块，Ansible只是提供一种框架。主要包括： (1) 连接插
转载
2023-10-28 12:34:51
99阅读
背景出于数据安全的考虑，自研了一个低成本的时序数据存储系统，用于存储历史行情数据。系统借鉴了 InfluxDB 的列存与压缩策略，并基于 HBase 实现了海量存储能力。由于运维同事缺乏 Hadoop 全家桶的运维经验，只能由我这个研发临时兼职，亲自指挥亲自部署了。Hadoop 发行版选择目前可选的方案并不多，主要有：CDH 目前中小企业选型首选的发行版Amibari 最为灵活的且可定制的发行版A
转载
2023-09-15 18:50:52
78阅读
点赞
首先来看一个例子：假设我想得到主机IP为172.25.250.9的完全限定域名（FQDN)，但是我无法登录该主机，那么就可以用本机里面的hostvars魔法变量（后面会分享我对魔法这个词的理解）这个字典里面的ansible_fact这个子字典（后面会补充解释）来得到。首先让我们来看看hostvars里面都是些啥，我们可以通过一下命令来查看hostvars这个字典：ansible locahost
转载
2024-03-14 22:32:44
67阅读
# Ansible部署Hadoop
在大数据领域，Hadoop是一个广泛使用的分布式计算框架，用于存储和处理大规模数据集。为了简化Hadoop的部署和管理过程，我们可以使用Ansible这个自动化工具来完成。本文将介绍如何使用Ansible来部署Hadoop集群。
## 准备工作
在开始之前，我们需要准备以下工作：
- 一台控制机：即Ansible的运行环境，可以是任何Linux系统。
-
原创
2023-09-15 09:21:13
191阅读
一、Ansible介绍简介
Ansible使用Python语言开发，是一个配置管理型工具，与之类似的工具还有Puppet、SaltStack、chef等，默认通过SSH协议进行远程命令执行或下发配置，无需部署任何客户端代理软件，可同时支持多台主机进行管理，Ansible是基于模块工作的，本身没有批量部署的能力，真正具有批量部署的是Ansible所运行
转载
2024-08-12 18:37:06
50阅读
# Hadoop HA集群 Ansible
## 概述
Hadoop是一个开源的分布式计算平台，它提供了可靠的数据存储和处理能力。HA（高可用性）是Hadoop集群中一个重要的特性，它保证了集群的可用性和容错性。Ansible是一个自动化工具，可以帮助我们快速搭建和管理Hadoop HA集群。
在本文中，我们将会介绍如何使用Ansible来搭建和配置Hadoop HA集群，包括主节点和备节点
原创
2023-11-27 12:19:31
70阅读
部署准备本次部署采用 ansible，以及 CDH (cloudera hadoop)。由于作为例子，仅展示最小化的集群部署（ 六个节点 ）。详细部署方式可以参考官方文档。点击这里角色分配 cdh-01: nn, rm, hmaster
cdh-02: nn, rm, hmaster
cdh-03: dn, nm, zk, jn, rs
cdh-04: dn, nm, zk, jn, r
转载
2024-05-07 14:06:22
21阅读
zookeeper 本质上是一个分布式实时key-value存储数据库。在现代商业系统中，部署很广泛。之前，搭过很多次zookeeper, 虽然不难，但是步骤比较繁琐，每次搭建5个节点都要耗费至少1小时时间。后来采用ansible部署，写成了一个独立的ansible role,变成一个标准。 使用者只要配置一下参数即可，使用起来非常方便，我在实际使用，全程部署:8分钟，100%成功，不
关于cassandra3集群部署通常情况下的cassandra3集群部署操作如下：安装JDK；设置JDK环境变量；创建运行cassandra服务的群组和账号；安装cassandra；设置cassandra环境变量；设置cassandra参数；设置cassandra日志目录和文件目录；上述操作要在每台机器执行，手动操作较为费时，因此用ansible来完成上述所有步骤，除了省事儿，还减少了操作失误的概
转载
2024-08-09 19:55:09
40阅读
原创
精选
2020-08-30 15:23:57
2505阅读
点赞
一 前期准备1.1 前置条件 至少有三个不同的主机运行monitor (MON)节点；至少三个直接存储(非外部SAN硬件)的OSD节点主；至少两个不同的manager (MGR)节点；如果使用CephFS，则至少有两个完全相同配置的MDS节点；如果使用Ceph对象网关，则至少有两个不同的RADOSGW节点。一个部署节点，可以使用ceph-ansible包中的Ansible剧本来部署和配置集群。
首先，高可用集群是建立在zookeeper搭建没有问题的前提下来完成的，没有搭建好zookeeper的，先搭好才可以做以下操作。 一：前期准备（只需要在主节点master上完成） 1.拍摄快照 想拍就拍，不想拍算了，建议还是拍一个，毕竟万一搭不好，还可以回到你这个状态，记得给快照加个备注，以防忘记你这个快照是干嘛的。最好关机状态下拍。 2.删除完全分布式集群rm -rf /usr/local/
转载
2023-07-24 14:28:37
78阅读
# Ansible部署Redis集群
## 1. 引言
Redis是一个开源的高性能键值存储数据库，广泛应用于缓存、消息队列、发布订阅系统等场景。在实际使用中，为了提高可用性和性能，我们通常会将Redis部署为一个集群，以实现数据的分布和负载均衡。
Ansible是一个自动化运维工具，它可以通过脚本实现服务器的自动配置和部署。本文将介绍如何使用Ansible来自动化部署Redis集群，并提供
原创
2023-11-04 14:46:51
166阅读
关闭防火墙systemctl stop firewalld.servicesystemctl disable firewalld.service
原创
2023-03-10 14:55:40
81阅读
第1章 准备工作1.1 实验环境介绍操作系统版本：CentOS 6.4-64bitHadoop版本：hadoop-2.2.0.x86_64.tar.gzZooekeeper版本：zookeeper-3.4.5.tar.gzJDK版本：jdk-7u80-linux-x64.rpm本实验准备了6台虚拟机搭建Hadoop集群1.2 集群IP和主机名规划主机名ip地址安装的软件运行的进程hadoop117
原创
2016-04-04 19:40:47
528阅读
Hadoop集群部署
原创
2019-04-19 19:38:05
658阅读
一、准备工作同一个局域网中的三台linux虚拟机，我用的是redhat6.4,如果主机是windows操作系统，可以先安装vmware workstation, 然后在workstation中装上3台虚拟机，这样就形成了一个以物理机为DNS服务器的局域网，物理机和虚拟机都有一个局域网IP，互相之间可以通信。因为hadoop是一个java开发者写的开源软件，所以你懂得，肯定用的是java语言编写的，
上一篇中搭建了4台linux虚拟机，用这4台虚拟机就可以搭建一个完全分布式hadoop集群了。1.虚拟机规划集群中包括4个节点，1个master，3个Salve，节点之间局域网连接，可以相互ping通，节点IP地址分布如下： 机器名称IP地址Master 219.244.84.92Slave1 219.244.84.93Slave2219.244.
转载
2023-09-15 12:31:02
132阅读
