Spark集群搭建Spark基于standalone集群搭建，standalone是主从结构，分master,worker;app作业Application：带有自己需要的mem和cpu资源量，会在master里排队，最后被分发到worker上执行。app的启动是去各个worker遍历，获取可用的cpu，然后去各个worker launch executor。 &
简单概括：Map/Reduce是分布式离线处理的一个框架。 Yarn是Map/Reduce中的一个资源管理器。一.图形说明下Map/Reduce结构： 官方示意图： 另外还可以参考这个： 流程介绍：HDFS首先会把块进行逻辑上切片处理，然后进行Map映射。一个切片对应一个Map映射。因为文件内容有可能一个单词被切到
Spark 开发环境搭建，包括IDEA、Scala、Svn、SBT、Java等安装配置
软件版本软件信息软件名称版本下载地址备注Java1.8https://www.oracle.com/technetwork/java/javase/downloads/jdk8-downloads-2133151.html64位版本的Scala2.10.5https:
转载
2024-04-21 21:51:57
58阅读
# 如何实现“sparkmaster节点重启”教程
## 1. 整体流程
以下是实现“sparkmaster节点重启”的步骤：
| 步骤 | 操作 |
| ---- | ---- |
| 1 | 停止Spark集群中的所有节点 |
| 2 | 重启SparkMaster节点 |
| 3 | 启动Spark集群中的所有节点 |
## 2. 操作步骤及代码示例
### 步骤1：停止Spark
原创
2024-04-21 05:18:42
24阅读
在这篇博文中，我们来探讨如何解决“sparkmaster1 启动测试HistoryServer”相关的问题。通过详细的步骤，确保您能够顺利地完成此过程，并分享一些经验和技巧，让您的Spark环境运行得更加出色。
## 版本对比及兼容性分析
使用不同版本的Spark，可能会引入一些不兼容的特性和功能。因此，理解不同版本之间的对比是非常重要的。
| 版本号 | 特性
陈泽，苏宁云商IT总部高级技术经理。苏宁云商大数据离线计算平台的计算方向负责人，目前主要从事Yarn，Hive，Spark，Druid等计算组件研发工作。曾就职于百度，有多年的Spark大数据方向的研发经验，精通Spark SQL，Druid等内核原理，有丰富的任务故障诊断和性能调优经验。 本文系陈泽老师在CCTC 2017 Spark技术峰会上所做的分享，点击下载演讲PPT。非常高
转载
2023-12-08 15:11:03
48阅读
HadoopHadoop是一个由Apache基金会所开发的分布式系统基础架构。 用户可以在不了解分布式底层细节的情况下，开发分布式程序。充分利用集群的威力进行高速运算和存储。 Hadoop实现了一个分布式文件系统（Hadoop Distributed File System），简称HDFS。HDFS有高容错性的特点，并且设计用来部署在低廉的（low-cost）硬件上；而且它提供高吞吐量（high
转载
2024-07-10 13:13:33
25阅读
什么是vlan？VLAN中文是“虚拟局域网”。LAN可以是由少数几台家用计算机构成的网络，也可以是数以百计的计算机构成的企业网络。VLAN所指的LAN特指使用路由器分割的网络——也就是广播域。听上面的概念，肯定有不少朋友是一头雾水的，什么是虚拟局域网？好好的，为什么要划分vlan？ 这里举个例：通俗的了解一所高中，新学期高一招了800个学生，这800个学生，如果放在一个班里，那肯定是管理不过来，面
转载
2024-05-11 21:52:05
76阅读
地址映射：为了保证CPU执行指令时可正确访问存储单元，需将用户程序中的逻辑地址转换为运行时由机器直接寻址的物理地址，这一过程称为地址映射。注意
地址映射最小单位为1页，4K大小，所以len值最小为：0x00001000。
地址映射分类
地址映射也可以成为地址重定位或地址变换，可以分为以下两类：
静态重定位
当用户程序被装入内
一直都说开机加电之后，将CS设置为0xFFFF，IP设置为0x0000，这样组成的地址就是0xFFFF0，而这个就是BIOS的入口地址，之后CPU读取这个地址的代码，然后就巴拉巴拉的开始执行下去了。现在想知道这个地址0xFFFF0是在主板上呢，还是在内存上。想着如果是统一编址的话，就可能是去读取主板上的ROM，但是看书上的图，有像是在RAM中，如果是在 内存 中，那是什么时候，由哪段程序将ROM中
转载
2024-05-27 17:54:41
95阅读
我们经常会碰到需要远程访问数据库的场景，比如使用 Sequel Ace 等本地工具远程连接，又或者，网站与数据库分离，服务器远程访问数据库等场景。默认情况下，MySQL 是不允许远程连接的，本教程将详细讲解如何开启 MySQL 数据库远程连接权限。
开启 MySQL 远程连接权限步骤编辑 MySQL 配置文件配置服务器内置防火墙配置阿里云/腾讯云等安全组允许外网连接多种方式远程连接 MySQL
1
转载
2023-09-11 23:01:16
77阅读
其实虚拟主机也可以称之为网站空间，就是把一台运行在互联网上的物理服务器，划分为多个虚拟服务器，想要知道更多虚拟服务器的消息就可以看看这篇文章吧。Java虚拟主机，顾名思义就是虚拟主机的一种，主要用于建立Web网站的一种主机空间，支持常用的Java语言，不过，目前完美支持Java的虚拟主机并不多。Java虚拟主机(java virtual machine)是Java开发语言中，用来运行Java字节码
转载
2023-07-18 16:08:13
20阅读
转载
2012-03-24 18:01:00
126阅读
### IP地址和主机地址的关系
在Kubernetes（K8S）中，IP地址和主机地址之间有着密切的关系。IP地址是用于在网络上唯一标识一个设备（如主机、路由器等）的地址，而主机地址则是指Kubernetes集群中的每个节点（Node）所拥有的主机地址。在K8S中，Pod是最小的部署单元，而Pod是运行在Node（主机）上的。因此，了解IP地址和主机地址之间的关系对于管理Kubernetes集
原创
2024-04-30 11:54:49
68阅读
一、端口DNS监听53端口注意：DNS通常是以UDP协议来进行数据传输协议的，但是若没有办法查询到完整的信息是。DNS的daemon是named，它会启动TCP和UDP的53端口，所以启用DSN服务器是要注意放行TCP,UDP的port53.三、正解根据主机名查询IP1.标志：SOA：（start of authority） ===> 开始验证NS（name serv
转载
2024-10-19 16:38:29
58阅读
作者：wowo 1. 前言也许关注BLE的同学都注意到了，BLE设备有多种类型的设备地址，如Public Device Address、Random Device Address、Static Device Address、Private Device Address等等。如果不了解内情，大家肯定会被它们绕晕。不过存在即合理，这样看似奇怪的设计，实际
转载
2023-10-11 10:12:00
241阅读
1、MODBUSmodbus指的是一种工业标准的数据对话协议，对于保持寄存器，输入寄存器，输出寄存器，线圈寄存器等不同的寄存器数值的读写，均定义了专门的指令和数据交换规范。modbus协议需要在与modbus标准的工业设备进行数据通讯时使用，既可以通过串口实现连接，也可以通过TCP以太网链接。（1）上位机读取数据每次间隔时间一般不小于100ms （2）设备地址：MODBUS从机通讯地址，在一个网络
转载
2023-12-27 11:45:27
86阅读
1 什么是CORS？CORS是Cross-Origin Resource Sharing的缩写，意思是跨域资源共享。本质上，CORS是HTTP协议对浏览器中不同网站间AJAX请求的规范和限制。Web世界里有无数个网站，每个网站都有自己的”门牌号“：协议://域名:端口。网站是部署在服务器某个端口上的应用进程，通过监听端口来接收外界的访问。外界通过域名（IP地址）来找到对应服务器，通过协议/端口来找
转载
2024-02-15 14:47:29
78阅读
在学习列表之前，我们先了解一下什么是序列？序列：指的是一块可存放多个值的连续内存空间，这些值（元素）会按照一定的顺序排列。在Python中，序列类型包括：列表，字符串，元祖，集合和字典。列表(list)的概念：指的是一块可存放多个值的连续内存空间；列表的存储方式：列表会将所有的元素都放在一对中括号[]里面，相邻元素之间用逗号','隔开，例a=【1，2】；列表的特点：列表
转载
2023-10-13 20:24:45
64阅读
IP地址是指Internet协议使用的地址，而MAC地址是Ethernet协议使用的地址。
IP地址与MAC地址之间并没有什么必然的联系，MAC地址是Ethernet NIC（网卡）上带的地址，为48位长。每个Ethernet NIC厂家必须向IEEE组织申请一组MAC地址，在生产NIC时编程于NIC卡上的串行EEPROM中。因此每
转载
精选
2006-12-26 20:00:00
872阅读
