MySqL主从复制&读写分离1. MySQL 主从复制是指数据可以从一个MySQL数据库服务器主节点复制到一个或多个从节点。
2. MySQL 默认采用异步复制方式，这样从节点不用一直访问主服务器来更新自己的数据，数据的新可以在远程连接上进行，从节点可以复制主数据库中的所有数据库或者特定的数据库，或者特定的表。1.主从复制主要用途:读写分离:防止高并发
MySQL主从形式主要分为如下几种：
RAC下查看实例名与节点名之间关系
ORACLE 提供了一个全局数据字典视图 gv$instance,可以用来查询 实例名和节点名之间的关系SQL>select instance_name,INSTANCE_NUMBER,HOST_NAME from gv$instance;
INSTANCE_NAME INSTANCE_NUMBER HOST_NAME
-----------
1 下载Apache Kafka zk安装文档Linux安装 Zookeeper_安小然然的-2 解压 tar -zxvf kafka_2.11-2.1.1.tgz3 配置 配置config中的server.properties文件 日志存放地址log.dirs=/APP/kafka-logs配置访问地址 listeners=PLAINTEXT://10.10.136.5:909...
原创
2022-01-05 15:05:00
161阅读
企业大数据来源1.企业内部日志文件数据库**用户行为数据2.企业外部爬虫第三方购买（蚂蚁数据银行）--贵阳大数据=海量数据+复杂类型的数据hadoop是由谷歌的三篇论文《mapreduce》--》mapreduce分布式离线并行计算框架GFS——————》HDFS分布式文件存储系统bigtable————》HBASE分布式数据库Hadoop四大核心模块common为其他模块提供基础设施hdfs分布
原创
2017-12-24 13:05:00
1487阅读
目录HDFS 是做什么的HDFS 从何而来为什么选择 HDFS 存储数据HDFS 如何存储数据HDFS 如何读取文件HDFS 如何写入文件HDFS 副本存放策略Hadoop2.x新特性1、HDFS 是做什么的 HDFS（Hadoop Distributed File System）是Hadoop项目的核心子项目，是分布式计算中数据存储管理的基础，是基于流数据模式访问和处理超大文件的需求而开发的，
三节点配置 下载安装包
转载
2021-07-12 23:51:00
1152阅读
2评论
1.安装docker 2.安装redis 下载： docker pull redis 命令（速度较慢） 推荐：访问docker 中国 https://www.docker-cn.com/ 点击镜像加速 ：可以看到如下示例: 下载redis 下载完成后查看镜像： docker images 启动red
原创
2022-01-07 13:58:53
439阅读
Ceph是一种开源的分布式存储系统，可用于构建高度扩展的存储解决方案。本文将介绍如何在Ubuntu 12.04操作系统上搭建Ceph的单节点环境。
首先，确保你的Ubuntu 12.04系统是最新的，并且已经安装了最新的更新。
接下来，打开终端并执行以下命令来安装Ceph软件包：
```
sudo apt-get update
sudo apt-get install ceph
```
安
下现在，我这里直接下载到root目录了。wget https://mir
原创
2023-04-03 21:51:23
226阅读
# Docker搭建Zookeeper单节点
在分布式系统中，Zookeeper是一个经常被使用的开源软件，它提供了一个分布式的协调服务。在Zookeeper中，数据被存储在树形的结构中，可以被用于解决一些分布式系统中的共同问题，例如配置管理、命名服务、分布式锁等等。
本文将介绍如何使用Docker来搭建一个Zookeeper单节点，以方便开发者进行学习和测试。
## 步骤一：安装Docke
Hadoop单节点示例搭建大数据已经成为现在热门中的热门，逢人必说Hadoop，作为初学者最好的学习方式是一步一步的搭建属于自己的Hadoop环境，网络上也有很多这方面的教程，但是还是缺少从最原始的操作系统环境开始到最后Hadoop环境部署的文章，因此才有了本文。 本文从最基础的操作系统环境到系统环境变量到具体的软件安装，hadoop安装流程源自自hadoop官方英文手册。基础环境操作系统我的主
文章目录官方文档参考安装虚拟机操作系统安装ntp,lvm2配置时区安装docker安装cephadm验证安装修改dashboard密码安装ceph-common查看可用存储添加存储验证使用pool创建删除pool块存储（Block storage），暂时有点问题。。文档步骤文件存储（File storage） 安装虚拟机系统配置要高，至少4核6G。2核4G，在添加存储阶段会莫名其妙的失败5块磁盘
在活动图中，除了活动以外的其他活动信息称为活动节点。活动节点主要分为三大类：参数节点、对象节点和控制节点。参数节点表示一个参数进入一个活动或者一个参数从一个活动中输出。对象节点为UML活动图表达一个复杂的数据试图通过一个活动时，这个穿越活动的数据包。控制节点是用于表示活动中的控制判断、同步运算、路径分叉、路径合并等特殊节点。控制节点主要包括起始节点、判断节点、汇合节点、分叉节点、结合节点以及终点节
一、单节点集群架构1、K8S核心组件2、解决存储3、管理K8S集群的操作，都需要在master上执行4、用户端对K8S的操作二、CA证书 一、单节点集群架构1、K8S核心组件master : api-server:统一的调度、协调的组件、唯一与etcd、kubelet对接的组件，也是统一的client客户端对接的入口 scheduler:调度中心，用于按照定义的规则调度Pod资源到指定的node
目的准备工作支持的平台需要的软件安装软件下载准备开始Hadoop集群本地操作伪分布式操作配置设置互信ssh通信执行YARN在单个节点分布式操作
目的
这篇文档描述了如何创建和配置一个单一节点的hadoop，于是你可以很快地利用Hadoop的MapReduce和Hadoop的分布式文件系统（HDFS，Hadoop Distributed File System
转载
2023-07-20 17:21:38
91阅读
Kubernetes（k8s）单节点部署 目录Kubernetes（k8s）单节点部署一、单节点结构图1.1 master节点apiserver 启动流程二、部署master组件2.1 master节点，生成证书2.2 生成token、绑定角色（bootstrap）2.3 启动apiserver、scheduler、controller-manager服务2.3.1 启动apiserver服务2.
Hadoop单节点设置目的先决条件支持平台必备软件安装软件下载准备启动Hadoop集群独立运行伪分布式操作组态设置无密码SSH执行在单个节点上的YARN全分布式运行目的本文档介绍了如何设置和配置单节点Hadoop安装，以便您可以使用Hadoop MapReduce和Hadoop分布式文件系统（HDFS）快速执行简单的操作。先决条件支持平台支持GNU / Linux作为开发和生产平台。Hadoop在
环境CentOS7安装了JDK1.8这里用的elasticsearch5.2.2为例，你也可以用5.6.1或者更高的版本1.最好以非root用户解压ElasticSearch，如果用root用户，要不然以后还要将文件的权限以及组转移给非foot用户1）解压elasticsearch-5.2.2.tar.gz到/opt/module目录下[root@hdp21~]#suasy[asy@hdp21ro
原创
2018-12-21 23:50:54
7316阅读
拦截器一、需求的产生因生产需求，要将kafka中的数据上传至hdfs，所以计划部署flume来完成。 1.需要将kafkaSource中的json数据解析成需要的数据格式，落地至hdfs，供hive加载，所以此处需要自定义拦截器，对event.body进行逻辑解析。 2.同时因为不同kafkaTopic消息需要落地至hdfs不同路径，需要对event进行加头处理。此处会按照uid和从数据解析获得的
一 基础信息--1.1 分片环境核心组件shard 节点: 分片节点，存储数据，可以是单个进程，也可以是 replica set；config 节点： 配置节点，仅存储集群的元数据，在生产环境上一般配置 3个 config 节点;monos 进程： 路由进程，本身不存储数据，负责将应用发出的SQL分发到各个 shard 节点，&nb
原创
2017-11-16 11:46:12
1602阅读
