背景出于数据安全的考虑，自研了一个低成本的时序数据存储系统，用于存储历史行情数据。系统借鉴了 InfluxDB 的列存与压缩策略，并基于 HBase 实现了海量存储能力。由于运维同事缺乏 Hadoop 全家桶的运维经验，只能由我这个研发临时兼职，亲自指挥亲自部署了。Hadoop 发行版选择目前可选的方案并不多，主要有：CDH 目前中小企业选型首选的发行版Amibari 最为灵活的且可定制的发行版A
转载
2023-09-15 18:50:52
78阅读
点赞
首先来看一个例子：假设我想得到主机IP为172.25.250.9的完全限定域名（FQDN)，但是我无法登录该主机，那么就可以用本机里面的hostvars魔法变量（后面会分享我对魔法这个词的理解）这个字典里面的ansible_fact这个子字典（后面会补充解释）来得到。首先让我们来看看hostvars里面都是些啥，我们可以通过一下命令来查看hostvars这个字典：ansible locahost
转载
2024-03-14 22:32:44
67阅读
首先说明下，整理的比较乱，遇到问题，解决问题即可1. 需要确认部署的服务器ip0 1 2 3 代表四个ip另外需要一台服务器，做远程操控用2. 在操控机上 执行 ssh-keygen，生成本机秘钥文件（如果已经有，跳过本步骤），比如用户 test，秘钥文件路径为 /home/test/.ssh/操控机上需要安装ansible 配置ansible安装源wget -O /etc/yum.re
转载
2023-08-08 11:45:47
174阅读
# Hadoop HA集群 Ansible
## 概述
Hadoop是一个开源的分布式计算平台，它提供了可靠的数据存储和处理能力。HA（高可用性）是Hadoop集群中一个重要的特性，它保证了集群的可用性和容错性。Ansible是一个自动化工具，可以帮助我们快速搭建和管理Hadoop HA集群。
在本文中，我们将会介绍如何使用Ansible来搭建和配置Hadoop HA集群，包括主节点和备节点
原创
2023-11-27 12:19:31
70阅读
1.1 什么是 Ansible?Ansible是一款自动化运维工具，基于Python开发，集合了众多运维工具（puppet、cfengine、chef、func、fabric）的优点，实现了批量系统配置、批量程序部署、批量运行命令等功能。Ansible是基于模块工作的，本身没有批量部署的能力。真正具有批量部署的是Ansible所运行的模块，Ansible只是提供一种框架。主要包括： (1) 连接插
转载
2023-10-28 12:34:51
99阅读
1. OpenStack 部署系统要求单机部署最低配置：2张网卡8G内存40G硬盘空间主机系统：CentOS Stream 9Debian Bullseye (11)openEuler 22.03 LTSRocky Linux 9- Ubuntu Jammy (22.04)官方不再支持CentOS 7作为主机系统，我这里使用的是Rocky Linux 9.2（最小化安装）推荐创建team或bond
一、节点信息内核版本：3.10.0-1062.el7.x86_64系统版本：Red Hat Enterprise Linux Server release 7.7 (Maipo)节点ip内存jdkhadoopZKNNDNRNNMJNZKFChdp-01192.186.10.111G√√√√hdp-02192.186.10.121G√√√√hdp-03192.186.10.131G√√√
原创
2021-08-04 17:15:51
321阅读
一、节点信息内核版本：3.10.0-1062.el7.x86_64系统版本：Red Hat Enterprise Linux Server release 7.7 (Maipo)节点ip内存jdkhadoopZKNNDNRNNMJNZKFChdp-01192.186.10.111G√√√√hdp-02192.186.10.121G√√√√hdp-03192.186.10.131G√√√
原创
2022-01-19 09:59:01
554阅读
在现代的信息技术领域，大数据处理已经成为了越来越热门的话题。Hadoop作为一种开源的分布式系统框架，被广泛应用于大规模数据的存储和处理。而Ansible作为一种自动化工具，可以帮助管理和部署Hadoop集群，提高效率和降低成本。
Ansible是一种基于Python开发的自动化工具，它可以用于自动部署、配置和管理大规模的服务器和应用程序。与手动配置相比，Ansible可以提高工作效率，减少错误
原创
2024-03-11 10:38:48
51阅读
Ansible是一种开源的自动化工具，可以对集群进行管理和配置。在现代技术环境下，构建和管理大规模集群变得越来越重要。Ansible的优势在于它简单易用、可扩展性强，其特点使其成为许多企业和组织的首选工具之一。
Ansible集群是使用Ansible进行管理和配置的一组主机。它可以作为服务器集群的中央控制台，提供统一的远程管理和自动化部署解决方案。通过Ansible的模块化设计，我们可以轻松地在
原创
2024-02-02 16:11:02
94阅读
zookeeper 本质上是一个分布式实时key-value存储数据库。在现代商业系统中，部署很广泛。之前，搭过很多次zookeeper, 虽然不难，但是步骤比较繁琐，每次搭建5个节点都要耗费至少1小时时间。后来采用ansible部署，写成了一个独立的ansible role,变成一个标准。 使用者只要配置一下参数即可，使用起来非常方便，我在实际使用，全程部署:8分钟，100%成功，不
ansible architecture
原创
2015-07-13 19:52:46
740阅读
# Ansible部署Hadoop
在大数据领域，Hadoop是一个广泛使用的分布式计算框架，用于存储和处理大规模数据集。为了简化Hadoop的部署和管理过程，我们可以使用Ansible这个自动化工具来完成。本文将介绍如何使用Ansible来部署Hadoop集群。
## 准备工作
在开始之前，我们需要准备以下工作：
- 一台控制机：即Ansible的运行环境，可以是任何Linux系统。
-
原创
2023-09-15 09:21:13
191阅读
基本工具安装ansibleansible是一个自动化管理工具，当集群规模较大时，可以很方便的与被管理服务器交互。安装ansible//在Mac环境下，可以轻松的使用brew管理工具来安装
brew reinstall ansible验证安装是否成功。 执行：ansible --version，如果出现下图则说明安装成功。ansible 2.7.6
config file = None
co
转载
2024-08-14 09:56:22
83阅读
部署准备本次部署采用 ansible，以及 CDH (cloudera hadoop)。由于作为例子，仅展示最小化的集群部署（ 六个节点 ）。详细部署方式可以参考官方文档。点击这里角色分配 cdh-01: nn, rm, hmaster
cdh-02: nn, rm, hmaster
cdh-03: dn, nm, zk, jn, rs
cdh-04: dn, nm, zk, jn, r
转载
2024-05-07 14:06:22
21阅读
Ansible部署Redis集群实验环境Ansible：192.168.1.1（控制端）Redis4:192.168.1.4（被控端）生产环境至少需要三台Ansible服务端实验目的使用Ansible执行Playbook的方式安装部署Redis集群实验步骤第一步部署安装Ansible，我这里采用之前已经安装好的Ansible，其实也简单，就是yum安装只需要设置对被控端的免密登录以及配置文件中的被
转载
2023-06-12 21:22:23
122阅读
Ansible 集群升级
在当今的信息技术行业中，随着大数据和云计算的快速发展，越来越多的企业和组织开始构建和维护自己的服务器集群，以满足不断增长的业务需求。然而，服务器集群的管理和升级常常是一项繁琐而复杂的任务，特别是当集群规模庞大时。
为了解决这一挑战，许多企业和组织转向了基于 Ansible 的自动化工具。Ansible 是一种功能强大的自动化平台，它可以帮助管理员管理和 orchest
原创
2024-02-01 15:59:50
45阅读
写在前面：在本教程中，默认虚拟机系统已配置好hadoop和JDK，并且集群之间的免密登录已经完成。这里我的hadoop版本号为hadoop-2.10.0，记得要全部替换为你自己的版本号哦
转载
2023-07-24 11:31:20
92阅读
HADOOP集群具体来说包含两个集群：HDFS集群和YARN集群，而mapreduce必须放在一个资源调度平台（yarn）上来跑，由平台分布内存cup等信息。两者逻辑上分离，但物理上常在一起 HDFS集群： 负责海量数据的存储，集群中的角色主要有 NameNode / DataNode YARN集群： 负责海量数据运算时的资源调度，集群中的角色主要有 ResourceManager /No
转载
2023-09-20 11:59:47
101阅读
Hadoop介绍Hadoop是Apache旗下的一个用java语言实现开源软件框架，是一个开发和运行处理大规模数据的软件平台。允许使用简单的编程模型在大量计算机集群上对大型数据集进行分布式处理。狭义上说，Hadoop指Apache这款开源框架，它的核心组件有：HDFS（分布式文件系统）：解决海量数据存储YARN（作业调度和集群资源管理的框架）：解决资源任务调度MAPREDUCE（分布式运算编程框架
转载
2023-07-30 15:53:33
109阅读
