spark集群架构官方文档：http://spark.apache.org/docs/latest/cluster-overview.html集群架构我们先看这张图这张图把spark架构拆分成了两块内容：1）spark应用程序：即左边的DriverProgram这块;2）spark 集群：即右边的ClusterManager和另外两个Worker Node;这样的结构，我们大概可以猜测一
转载
2023-07-20 22:09:02
39阅读
MYSQL集群搭建、主从配置、读写分离参考文档
《02_CentOS安装mysql数据库文档》
《03_Mysql主从配置文档》
《04_mysql主从知识点》分库分表分库：分布式项目用的比较多
设计到第三方系统
跨库查询：
配置多数据源分表：1：涉及海量数据存储
2：涉及到业务数据(分模块)存储
分表方式：
1：根据容量来分200M----不推荐使
存储跟服务器双机热备组件图形。好不容易从IBM那边要过来的...
转载
精选
2010-11-05 10:52:41
432阅读
安装epel源 (阿里云主机已安装)最好做ssh秘钥认证 ，本例中已做 yum -y install ansible 然后看一下都装了那些东西： rpm -ql ansible /etc/ansible/ansible.cfg #ansible的配置文件&nb
原创
2016-04-11 14:56:48
1158阅读
FTP全名是File Transfer Protocol(文件传输协议) C/S架构简介：下面是关于FTP这个服务的属性（1)FTP服务相关软件IIS Serv-U Vsftpd proftpd pureftpd（2）FTP客户端相关软件ftp命令 CuteFTP FlashFTP LeapFTP Filezilla gftp kuftp（3）VSFTP的守护进程/usr/sbin/vsftpd（
原创
2016-08-24 22:20:10
717阅读
# openvpn搭建文档## 安装相关包文件### 安装openssl和lzo包，lzo包用于压缩通讯数据加快传输速度```yum -y install openssl openssl-develyum -y install lzo```### 安装openvpn和easy-rsa```yum -y install openvpn easy-rsa```## 服务器端生成相关文件### 修改va
原创
2017-04-11 09:37:50
1333阅读
一、Apollo介绍
Apollo 是携程框架部门研发的分布式配置中心，能够集中化管理应用不同环境、不同集群的配置，配置修改后能够实时推送到应用端，并且具备规范的权限、流程治理等特性，适用于微服务配置管理场景。
服务端基于 Spring Boot 和 Spring Cloud 开发，打包后可以直接运行，不需要额外安装Tomcat等应用容器。且 Java 客户端不依赖任何框架，能够运行
原创
2021-07-28 16:37:28
268阅读
1 flink下载2.上传安装包3 解压4 修改配置文件4.1 配置slaves4.2 修改配置文件flink-conf.yaml5 传送安装包到集群
原创
2023-05-24 10:21:11
257阅读
翻译Flink官网文档，Flink在YARN集群提交job，调试，以及命令行提交格式。最后，是Flink与YARN的交互分析。 文中会夹杂一些实践经验，读者可以参考或者进行实践，完善。快速开始在YARN上启动一个长期的Flink集群启动一个拥有4个Task Manager的yarn会话，每个Task Manager有4gb的堆内存:# 从flink下载页获取haddoop2包# htt
https://www.bilibili.com/video/av54523954?p=1 （原理和简介看第一个视频即可）Flink（二）CentOS7.5搭建Flink1.6.1分布式集群 一. Flink的下载安装包下载地址：http://flink.apache.org/downloads.html ，选择对应Hadoop的Flink版本下载[adm
前提:使用命令解决电脑内复制虚拟机不能粘贴问题n如果报错：apt-get update1.安装工具open-vm-toolssudo apt-get install open-vm-tools安装工具open-vm-tools-desktopsudo apt-get install open-vm-tools-desktop重启：reboot正式开始：1.安装ubuntu依赖（以后操作都是基于Ub
搭建自己的wiki知识管理系统[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-Acg4hkT5-1595156157156)(https://raw.githubusercontent.com/FanHongchuang/notebook/master/docs/assets/images/material.png)]本文小编将带大家从零开始搭建一个属于你自己的wik
Flink集群搭建 Flink支持多种安装模式。local（本地）——单机模式，一般不使用standalone——独立模式，Flink自带集群，开发测试环境使用yarn——计算资源统一由Hadoop YARN管理，生产环境测试 Standalone模式 步骤 1. 解压flink压缩包到指定目录2. 配置flink3. 配置slaves节点4. 分发flin
1.首先下载MinGW编译器和编辑器（建议初学者选择纯文本编辑器，例如：notepad++）下载地址： 链接：https://pan.baidu.com/s/1WEgUvL7jNVi4ieK6YrTtEQ (MinGW编译器) 提取码：q7ff 链接：https://pan.baidu.com/s/1MkbgHlC49A69CtDwrMIdkQ (note
一、standalone模式1、上传flink到cdh01节点，并解压tar -zxvf flink-1.10.0-bin-scala_2.11.tgz -C /opt/module2、修改配置文件cd /opt/module/flink-1.10.0/conf/
vim flink-conf.yaml修改一下下面的几个参数，我这内存比较多，直接加了个0：修改slaves文件：cdh01
cdh0
使用mvn构建项目使用mvn命令，输入如下命令mvn archetype:generate \
-DarchetypeGroupId=org.apache.flink \
-DarchetypeArtifactId=flink-quickstart-java \
-DarchetypeVersion=1.6.1 \
-DgroupId=my-flink-projec
转载
2023-08-24 20:08:10
117阅读
序本文主要研究一下flink DataStream的window coGroup操作实例dataStream.coGroup(otherStream)
.where(0).equalTo(1)
.window(TumblingEventTimeWindows.of(Time.seconds(3)))
.apply (new CoGroupFunction () {...})
Flink 运行时的组件介绍Flink 运行时架构主要包括四个不同的组件，它们会在运行流处理应用程序时协同工作（因为 Flink 是用 Java 和 Scala 实现的，所以所有组件都会运行在 Java 虚拟机上）一、作业管理器 （JobManager）JobManager控制一个应用程序执行的主进程叫JobMaster，提交的每一个应用程序都会被一个不同的 JobMaster 所控制执行。 Jo
Flink High-Availability
原创
2022-08-26 14:19:50
154阅读
Service的IP service ip不能ping通 但可以通过service ip访问后面的服务 You can run a JobManager (master) You can also run a TaskManager (worker) taskmanager默认会向自身的6123端口
原创
2023-08-18 11:46:20
221阅读
