目录1.概观2.与Spark链接3.初始化Spark3.1.使用Shell（Python）4.弹性分布式数据集（RDD）4.1.并行化集合4.2.外部数据集4.3.RDD操作4.3.1.基本4.3.2.将函数传递给Spark4.3.3.理解闭包4.3.4.使用键值对4.3.5.转换（Transformations）4.3.6.操作（Actions）4.3.7.shuffle4.4.RDD持久性4.
目录一、Consul 简介1.什么是服务注册与发现2. 什么是consul3.consul 架构 二、部署 consul 服务器（192.168.88.10）1.建立 Consul 服务2.查看集群信息3.通过 http api 获取集群信息三、registrator服务器（192.168.88.60）1.安装 Gliderlabs/Registrator2.测试服务发现功能是
Hadoop单节点示例搭建大数据已经成为现在热门中的热门，逢人必说Hadoop，作为初学者最好的学习方式是一步一步的搭建属于自己的Hadoop环境，网络上也有很多这方面的教程，但是还是缺少从最原始的操作系统环境开始到最后Hadoop环境部署的文章，因此才有了本文。 本文从最基础的操作系统环境到系统环境变量到具体的软件安装，hadoop安装流程源自自hadoop官方英文手册。基础环境操作系统我的主
转载
2024-05-17 03:22:51
55阅读
# 使用Dockerfile构建Spark单节点集群
Docker是一个开源的容器化平台，它可以帮助开发者将应用程序及其依赖项打包到一个可移植的容器中，使其可以在不同的环境中运行。Spark是一个开源的大数据处理框架，它提供了分布式计算的能力，可以处理大规模的数据集。
在本文中，我们将介绍如何使用Dockerfile构建一个Spark单节点集群。这个集群将包含一个Spark主节点和一个Spar
原创
2023-07-14 17:00:25
132阅读
一，搭建本地pyspark单机练习环境以下过程本地单机版pyspark练习编程环境的配置方法。注意：仅配置练习环境无需安装hadoop,无需安装scala.1，安装Java8下载地址：https://www.oracle.com/technetwork/java/javase/downloads/jdk8-downloads-2133151.html注意避免安装其它版本的jdk否则可能会有不兼容s
转载
2023-12-23 13:16:22
214阅读
RAC下查看实例名与节点名之间关系
ORACLE 提供了一个全局数据字典视图 gv$instance,可以用来查询 实例名和节点名之间的关系SQL>select instance_name,INSTANCE_NUMBER,HOST_NAME from gv$instance;
INSTANCE_NAME INSTANCE_NUMBER HOST_NAME
-----------
转载
2024-08-26 14:28:31
28阅读
1 下载Apache Kafka zk安装文档Linux安装 Zookeeper_安小然然的-2 解压 tar -zxvf kafka_2.11-2.1.1.tgz3 配置 配置config中的server.properties文件 日志存放地址log.dirs=/APP/kafka-logs配置访问地址 listeners=PLAINTEXT://10.10.136.5:909...
原创
2022-01-05 15:05:00
178阅读
# MySQL单节点搭建指南
MySQL作为一个开源的关系型数据库管理系统，以其高效、可靠和易扩展的特点而备受青睐。在许多小型或中型项目中，单节点的MySQL数据库搭建方案能够满足基本的业务需求。本篇文章将带领读者逐步了解如何搭建一个MySQL单节点实例，并结合具体的代码示例和图形化表示，帮助你更好地理解整个过程。
## 1. 下载并安装MySQL
首先，我们需要从官方网站下载MySQL。在
# 搭建单节点 HBase 的指南
HBase 是一个开源的、分布式的 NoSQL 数据库，专为海量数据存储和快速随机访问而设计。本文将为你介绍如何在单节点环境下搭建 HBase，并提供相应的代码示例。
## 环境准备
在开始之前，请确保你的系统中已安装 Java（JDK 1.8 或更高版本）。可以通过以下命令检查 Java 的安装：
```bash
java -version
```
目录HDFS 是做什么的HDFS 从何而来为什么选择 HDFS 存储数据HDFS 如何存储数据HDFS 如何读取文件HDFS 如何写入文件HDFS 副本存放策略Hadoop2.x新特性1、HDFS 是做什么的 HDFS（Hadoop Distributed File System）是Hadoop项目的核心子项目，是分布式计算中数据存储管理的基础，是基于流数据模式访问和处理超大文件的需求而开发的，
转载
2024-09-09 10:11:40
60阅读
企业大数据来源1.企业内部日志文件数据库**用户行为数据2.企业外部爬虫第三方购买（蚂蚁数据银行）--贵阳大数据=海量数据+复杂类型的数据hadoop是由谷歌的三篇论文《mapreduce》--》mapreduce分布式离线并行计算框架GFS——————》HDFS分布式文件存储系统bigtable————》HBASE分布式数据库Hadoop四大核心模块common为其他模块提供基础设施hdfs分布
原创
2017-12-24 13:05:00
1494阅读
1、Spark 运行架构1.1、运行架构Spark 框架的核心是一个计算引擎，整体来说，它采用了标准 master-slave 的结构。 如下图所示，它展示了一个 Spark 执行时的基本结构。图形中的 Driver 表示 master，负责管理整个集群中的作业任务调度。图形中的 Executor 则是 slave，负责实际执行任务。1.2、核心组件由上图可以看出，对于 Spark 框架有两个核心
转载
2024-02-27 20:18:48
15阅读
Spark的整体流程为：Client提交应用，Master找到一个Worker启动Driver，Driver向Master或者资源管理器申请资源，之后将应用转化为RDD Graph，再由DAGScheduler将RDD Graph转化为Stage的有向无环图提交给TaskScheduler，由TaskScheduler提交任务给Executor执行。在任务执行过程中，其他组件协同工作，确保整个应用
转载
2023-10-20 22:11:03
56阅读
Spark的运行模式在正式安装Spark之前，先给大家介绍下Spark可以在哪几种模式下运行，主要有以下4种运行模式:1.local: 本地单进程模式，用于本地开发测试Spark代码。2.standalone:分布式集群模式，Master-Worker架构，Master负责调度，Worker负责具体Task的执行。3.on yarn/mesos:运行在yarn/mesos等资源管理框架之上，yar
Oozie 是大数据四大协作框架之一——任务调度框架，另外三个分别为数据转换工具 Sqoop,文件收集库框架 Flume,大数据 WEB 工具 Hue，这三个后面的文章将逐一给大家介绍。Oozie 概述Oozie 是一个用来管理 Hadoop 生态圈 job 的工作流调度系统。由 Cloudera公司贡献给 Apache。Oozie 是运行于 Java servlet 容器上的一个 java we
zookeeper集群部署由于没有多余的电脑，所以我只在我个人电脑上面布置了一个伪集群的系统，安装了三个zookeeper如果看见过我的单机版的zookeeper，那么布置集群会很容易，就是布置三个单机版本的，然后分别配置zoo.cfg一下，让单机版的zookeeper可以联系起来互相通信就可以了。下面可是布置zookeeper集群系统：以下内容主要来源于网络和自己的亲身总结经验，如果有更好的配置
三节点配置 下载安装包
转载
2021-07-12 23:51:00
1333阅读
2评论
# 单节点部署 HBase 搭建指南
HBase 是一个开源、分布式、可扩展的 NoSQL 数据库，它能够为大规模数据存储提供随机、实时的读写访问。在一些简单的应用场景中，我们可能只需要在单节点环境下搭建 HBase，以便进行学习或开发。本文将介绍如何在单节点上部署 HBase，并提供详细的步骤和代码示例。
## 准备工作
在开始之前，确保你已具备以下环境：
- Java 8 或更高版本
原创
2024-09-24 06:50:26
247阅读
Linux下生成驱动设备节点文件的方法有3个：1、手动mknod；2、利用devfs；3、利用udev
在刚开始写Linux设备驱动程序的时候，很多时候都是利用mknod命令手动创建设备节点，实际上Linux内核为我们提供了一组函数，可以用来在模块加载的时候自动在/dev目录下创建相应设备节点，并在卸载模块时删除该节点。
在2.6.17以前，在/dev目录下生成设备文件很容易，
devfs
# Docker搭建Zookeeper单节点
在分布式系统中，Zookeeper是一个经常被使用的开源软件，它提供了一个分布式的协调服务。在Zookeeper中，数据被存储在树形的结构中，可以被用于解决一些分布式系统中的共同问题，例如配置管理、命名服务、分布式锁等等。
本文将介绍如何使用Docker来搭建一个Zookeeper单节点，以方便开发者进行学习和测试。
## 步骤一：安装Docke
原创
2023-12-29 08:17:44
258阅读
