背景出于数据安全的考虑，自研了一个低成本的时序数据存储系统，用于存储历史行情数据。系统借鉴了 InfluxDB 的列存与压缩策略，并基于 HBase 实现了海量存储能力。由于运维同事缺乏 Hadoop 全家桶的运维经验，只能由我这个研发临时兼职，亲自指挥亲自部署了。Hadoop 发行版选择目前可选的方案并不多，主要有：CDH 目前中小企业选型首选的发行版Amibari 最为灵活的且可定制的发行版A
转载
2023-09-15 18:50:52
78阅读
点赞
在现代的信息技术领域，大数据处理已经成为了越来越热门的话题。Hadoop作为一种开源的分布式系统框架，被广泛应用于大规模数据的存储和处理。而Ansible作为一种自动化工具，可以帮助管理和部署Hadoop集群，提高效率和降低成本。
Ansible是一种基于Python开发的自动化工具，它可以用于自动部署、配置和管理大规模的服务器和应用程序。与手动配置相比，Ansible可以提高工作效率，减少错误
原创
2024-03-11 10:38:48
51阅读
首先说明下，整理的比较乱，遇到问题，解决问题即可1. 需要确认部署的服务器ip0 1 2 3 代表四个ip另外需要一台服务器，做远程操控用2. 在操控机上 执行 ssh-keygen，生成本机秘钥文件（如果已经有，跳过本步骤），比如用户 test，秘钥文件路径为 /home/test/.ssh/操控机上需要安装ansible 配置ansible安装源wget -O /etc/yum.re
转载
2023-08-08 11:45:47
174阅读
首先来看一个例子：假设我想得到主机IP为172.25.250.9的完全限定域名（FQDN)，但是我无法登录该主机，那么就可以用本机里面的hostvars魔法变量（后面会分享我对魔法这个词的理解）这个字典里面的ansible_fact这个子字典（后面会补充解释）来得到。首先让我们来看看hostvars里面都是些啥，我们可以通过一下命令来查看hostvars这个字典：ansible locahost
转载
2024-03-14 22:32:44
67阅读
ansible architecture
原创
2015-07-13 19:52:46
740阅读
# Ansible部署Hadoop
在大数据领域，Hadoop是一个广泛使用的分布式计算框架，用于存储和处理大规模数据集。为了简化Hadoop的部署和管理过程，我们可以使用Ansible这个自动化工具来完成。本文将介绍如何使用Ansible来部署Hadoop集群。
## 准备工作
在开始之前，我们需要准备以下工作：
- 一台控制机：即Ansible的运行环境，可以是任何Linux系统。
-
原创
2023-09-15 09:21:13
191阅读
基本工具安装ansibleansible是一个自动化管理工具，当集群规模较大时，可以很方便的与被管理服务器交互。安装ansible//在Mac环境下，可以轻松的使用brew管理工具来安装
brew reinstall ansible验证安装是否成功。 执行：ansible --version，如果出现下图则说明安装成功。ansible 2.7.6
config file = None
co
转载
2024-08-14 09:56:22
83阅读
部署准备本次部署采用 ansible，以及 CDH (cloudera hadoop)。由于作为例子，仅展示最小化的集群部署（ 六个节点 ）。详细部署方式可以参考官方文档。点击这里角色分配 cdh-01: nn, rm, hmaster
cdh-02: nn, rm, hmaster
cdh-03: dn, nm, zk, jn, rs
cdh-04: dn, nm, zk, jn, r
转载
2024-05-07 14:06:22
21阅读
1.1 什么是 Ansible?Ansible是一款自动化运维工具，基于Python开发，集合了众多运维工具（puppet、cfengine、chef、func、fabric）的优点，实现了批量系统配置、批量程序部署、批量运行命令等功能。Ansible是基于模块工作的，本身没有批量部署的能力。真正具有批量部署的是Ansible所运行的模块，Ansible只是提供一种框架。主要包括： (1) 连接插
转载
2023-10-28 12:34:51
99阅读
一、Ansible介绍简介
Ansible使用Python语言开发，是一个配置管理型工具，与之类似的工具还有Puppet、SaltStack、chef等，默认通过SSH协议进行远程命令执行或下发配置，无需部署任何客户端代理软件，可同时支持多台主机进行管理，Ansible是基于模块工作的，本身没有批量部署的能力，真正具有批量部署的是Ansible所运行
转载
2024-08-12 18:37:06
50阅读
ansible是新出现的自动化运维工具，基于Python开发，集合了众多运维工具的优点，实现了批量系统配置、批量程序部署、批量运行命令等功能。ansible是基于模块工作的，本身没有批量部署的能力。真正具有批量部署的是ansible所运行的模块，ansible只是提供一种框架。
ansible的安装:
转载
2023-12-15 12:43:00
97阅读
ansible部署hadoop及插件
原创
2018-04-17 22:54:35
10000+阅读
点赞
1评论
Ansible与Hadoop的完美结合
在当今的计算机领域中，拥有高效的自动化工具是非常重要的。幸运的是，Ansible作为一个强大而又灵活的自动化工具，为IT专业人士提供了一种简化和优化他们的工作流程的方式。与此同时，Hadoop作为一个用于处理大规模数据集的分布式计算系统，已经成为大数据处理的主要工具。本文将探讨Ansible和Hadoop之间的关系，以及如何在使用Ansible管理Hado
原创
2024-02-02 15:27:38
77阅读
# Hadoop HA集群 Ansible
## 概述
Hadoop是一个开源的分布式计算平台，它提供了可靠的数据存储和处理能力。HA（高可用性）是Hadoop集群中一个重要的特性，它保证了集群的可用性和容错性。Ansible是一个自动化工具，可以帮助我们快速搭建和管理Hadoop HA集群。
在本文中，我们将会介绍如何使用Ansible来搭建和配置Hadoop HA集群，包括主节点和备节点
原创
2023-11-27 12:19:31
70阅读
本文所有资料和实例是结合官方文档，以及自己实际测试所得。原始资料：http://ansible.cc/docs/测试时所用系统centos6u2，使用python2.6.6，所用账户为yakamoz，yakamoz具有无密码使用sudo命令的权限一、ansible 安装1、软件包安装EPEL已经提供了ansible所需的所有支持软件包，所以在这里使用epel源进行安装： $
转载
2024-08-12 14:30:40
53阅读
1. OpenStack 部署系统要求单机部署最低配置：2张网卡8G内存40G硬盘空间主机系统：CentOS Stream 9Debian Bullseye (11)openEuler 22.03 LTSRocky Linux 9- Ubuntu Jammy (22.04)官方不再支持CentOS 7作为主机系统，我这里使用的是Rocky Linux 9.2（最小化安装）推荐创建team或bond
1、初始化一个role文件，包含如下文件ansible-galaxy init nginx
tree nginx/
nginx/
├── defaults
│ └── main.yml
├── files
├── handlers
│ └── main.yml
├── meta
│ └── main.yml
├── README.md
├── tasks
│ └── mai
转载
2023-12-10 23:04:59
91阅读
目录一、概述二、Ansible 部署1）开启记录日志2）去掉第一次连接ssh ask确认3）配置hosts三、开始编排 ansible playbook1）创建目录2）节点初始化3）安装 docker4）安装 k8s 相关组件5）k8s master节点初始化6）安装 CNI（flannel）7）master 节点加入k8s集群8）node 节点加入k8s集群9）安装 ingress-nginx1
转载
2023-12-08 22:22:04
57阅读
以下内容仅为hbase集群的部署剧本 后续再完善hadoop、zookeeper...环境准备1. 准备3台linux服务器/虚拟机主机名ip集群分布节点信息hbase1192.168.42.10hadoop、zookeeper、hbase、flink、kafkaansible主控端hbase2192.168.42.11hadoop、zookeeper、hbase、flink、kafka被控端hb
转载
2023-12-06 19:40:37
52阅读
如何用ansible的playbook实现自动decommission hadoop 的node ?
原创
2015-02-09 18:50:21
2137阅读
