在上一篇文章spark单机安装已经阐述了如何在单台服务器上安装spark本地环境,接下来本文介绍如何通过简单配置将所有安装好spark的服务器以集群方式组织并运行起来,本文将仅介绍spark自带的standalone模式。1.spark的几种运行模式主要分为单机模式和集群模式,其中,集群模式支持stan
转载 2024-04-15 13:15:39
21阅读
开始之前的一段废话:放假回家了也就没有写博客了,家里没有网,偶尔也只能用手机上一上,看一看是否有新的评论和回复,是否有和我研究相关的博文和动态。今天是三月一号,学校的校园网帐号解封了,于是便把寒假部分的工作内容总结一下,在此也和大家一起分享我的心得,希望对各位读者能有所帮助。本文的例子是我帮一位兄弟做的,算起还是我的学长,只不过不同学校,具体的要求如下:http://bbs.esrichina-b
在 PL/SQL 程序中,对于处理多行记录的事务经常使用游标来实现。 §4.1 游标概念  为了处理 SQL 语句,ORACLE 必须分配一片叫上下文( context area )的区域来处理所必需的信息,其中包括要处理的行的数目,一个指向语句被分析以后的表示形式的指针以及查询的活动集(active set)。  游标是一个指向上下文的句柄
转载 7月前
20阅读
Docker 镜像的操作1. 拉取镜像2 查看本地镜像3 搜索镜像4 删除本地镜像5 镜像的导入和导出6 创建镜像6.1 已有镜像的容器创建6.2 基于本地模板导入7 导出和导入镜像 1. 拉取镜像# 从docker hub中央仓库拉取镜像到本地 docker pull 镜像名称[:tag] 镜像名称: 这个是仓库地址;url的地址一样 tag: 这个才是镜像,如果不指定那么就是latest
转载 2024-09-15 14:33:53
46阅读
什么是PostgreSQL?    以 加州大学 伯克利分校计算机系开发的 POSTGRES, 是一个功能强大的开源对象关系数据库管理系统(ORDBMS) 。PostgreSQL(也称为Post-gress-Q-L)由PostgreSQL全球开发集团(全球志愿者团队)开发。 它不受任何公司或其他私人实体控制。 它是开源的,其源代码是免费提供的。PostgreSQL是
 本文以 SQL 查询为基础,在关系模型的执行方案下讨论了分布式/并行 OLAP 任务执行的基本模型和经典方案,并且涵盖了一些最新研究(如动态调整技术)的介绍。主要策略:Data Locality、Working Stealing、Delay Stealing、慢任务异地重试等。 万变不离其宗,这些策略与分布式系统中的任务并行策略本质上很像,例如通过数据分区来支持分布式、任务调
我国信息安全等级保护制度分为以下五个主要的工作环节:信息系统定级、信息系统备案、安全建设整改、安全等级测评和安全监督检查。信息系统定级。信息系统定级按照自主定级、专家评审、主管部分审批、公安机关审核的流程进行。信息系统运营使用单位按照《管理办法》和《信息系统安全等级保护定级指南》(GB/T22240-2008),以下简称《定级指南》。自主确定信息系统的安全保护等级。为保证信息系统定级准确,可以组织
数据库SQL语句(基础用法) 文章目录数据库SQL语句(基础用法)1. SQL数据类型(常用的几个)1.1 varchar(n)1.2 smallint1.3 float1.4 date2. 创建一个数据库2.1 用到的表格2.1.1 英雄表2.1.2 武器表2.1.3 英雄武器契合表2.2 创建一张表格2.2.1 创建英雄表格2.2.2 创建武器表格2.2.3 创建英雄武器契合表格2.3 往表格
在Linux系统中,要启动PostgreSQL数据库非常简单。PostgreSQL是一个功能强大且广泛使用的开源关系型数据库管理系统,它具有高度的可靠性和稳定性,被许多企业和开发者所青睐。 要在Linux系统上启动PostgreSQL数据库,您需要遵循以下步骤: 1. 确保PostgreSQL已经安装在您的Linux系统中。如果尚未安装,您可以通过包管理器或者从官方网站下载安装包进行安装。
原创 2024-04-25 09:52:18
349阅读
 虽然查询速度慢的原因很多,但是如果通过一定的优化,也可以使查询问题得到一定程度的解决。 查询速度慢的原因很多,常见如下几种:     1、没有索引或者没有用到索引(这是查询慢最常见的问题,是程序设计的缺陷)     2、I/O吞吐量小,形成了瓶颈效应。     3、没有创建计算列导致查询不优化。
内存数据库内核开发工作日志(初稿)(一)  1 初衷   许多人听到内存数据库第一印象就是大型的电信企业,银行的解决方案,但其实内存数据的应用相当广泛,从中型网站并发到批量文件处理都可以有很有效的应用。在商业领域的内存数据库主要ALTIBASE,与Oracle,TimeSen,但其昂贵的授权费(数十万$)令许多普通用户望而却步。   在这里希望能整
kafka参考:、​​http://www.yunweipai.com/36806.html​​​​https://www.bbsmax.com/A/QV5ZgGKVdy/​​​https://copyfuture.com/blogs-details/20210706183258030Y​​​​http://www.yunweipai.com/36806.html​​​​https://www.j
原创 2022-06-01 06:43:09
561阅读
一、什么是集群集群(Cluster )是将多个单独存在的服务器,通过集群技术将其集合,构成一个工作组、一台大型的服务器,以单一
原创 2022-08-15 11:50:48
443阅读
一、集群规划 搭建一个集群我们需要考虑如下几个问题: 1. 我们需要多大规模的集群? 2. 集群中的节点角色如何分配? 3. 如何避免脑裂问题? 4. 索引应该设置多少个分片? 5. 分片应该设置几个副本? 下面我们就来分析和回答这几个问题 1、我们需要多大规模的集群? 需要从以下两个方面考虑: 1
转载 2019-08-09 17:26:00
1255阅读
2评论
一、集群规划 搭建一个集群我们需要考虑如下几个问题: 1. 我们需要多大规模的集群? 2. 集群中的节点角色如何分配? 3. 如何避免脑裂问题? 4. 索引应该设置多少个分片? 5. 分片应该设置几个副本? 下面我们就来分析和回答这几个问题 1、我们需要多大规模的集群? 需要从以下两个方面考虑: 1
转载 2019-07-08 15:38:00
804阅读
2评论
就已经表明,每个主带一个从,一共给了6个节点,那么主节点就只有6/2=3个,该命令直接认定前3个节点为主节点,所
原创 精选 2023-10-07 10:09:44
765阅读
Redis集群使用总结(二):本篇文章需要结合上一篇《Redis集群使用总结(一)》,而这里主要介绍Redis集群的管理的分析和研究总结。 ·     如何管理·     故障转移·     注意事项 一、如何管理Redis集群
转载 2023-12-30 15:59:53
114阅读
目录ES集群核心原理 1、节点类型数据节点协调节点2、索引分片3、集群选举 4、脑裂问题什么是脑裂现象解决方案场景分析5、集群扩展继续扩展6、故障转移ES集群核心原理 1、节点类型1)master节点master节点特点:整个集群只会有一个master节点,它将负责管理集群范围内的所有变更,例如增加、删除索引;或者增加、   删除节点等。而mast
目前项目使用大量spring-task,spring-task有个足的地方是缺失对集群的支持。quartz可以支持定时任务集群,我们项目没有用,所以就自己实现了。我们设计的定时任务有三类。1、节点间不允许并发,2、节点间允许并发,节点内不允许并发,3.节点间允许并发,节点内允许多线程并发。 首先实现任务接口 public interface Task
Table of Contents 一、集群简介二、集群的七大优点三、集群的分类四、常用的集群软硬件及选型介绍一、集群简介     集群就是一组(若干个)相互独立的计算机,利用高速通信网络组成的一个较大的计算机服务系统,每个集群节点(即集群中的每台计算机)都是运行各自服务的独立服务器。这些服务器之间可以彼此通信,协同向用户提供应用程序、系统资源和数
转载 2023-07-30 10:42:55
279阅读
  • 1
  • 2
  • 3
  • 4
  • 5