多master(高可用)1. 安装要求在开始之前,部署Kubernetes集群机器需要满足以下几个条件: 一台或多台机器,操作系统 硬件配置:2GB或更多RAM,2个CPU或更多CPU,硬盘30GB或更多可以访问外网,需要拉取镜像,如果服务器不能上网,需要提前下载镜像并导入节点 禁止swap分区2. 准备环境(所有节点操作)角色IPVIP(虚拟ip)192.168.169.50
问题:在spring boot 项目中设置了共13个定时任务,突然有一天部分定时任务就不再执行了,重启程序定时任务也不执行,莫名其妙,查了好多资料,以下是关于我查到的关于定时任务突然停掉的一些原因。排查:查到了大部分经验说是spring boot中得定时任务都时单线程得,要进行多线程执行;单线程测试:package com.example.demo.conf;import org.springfr
一、SparkStreaming工作原理SparkStreaming是SparkCoreAPI的扩展,它支持弹性的,高吞吐的,容错的实时数据流的处理。数据可以通过多种数据源获取,例如Kafka,Flume,Kinesis以及TCPsockets数据源。也可以通过例如map,reduce,join,window等的高级函数组成的复杂算法处理。最终,处理后的数据可以输出到文件系统,数据库以及实时仪表盘
一、数据清洗现实中通过各种方式收集到的数据都是“肮脏”的。本节将着重讲解数据清洗的工作,如缺失值的处理、重复数据的处理及如何替代值等具体操作。1、处理缺失值1.1、侦查缺失值通过人工查看DataFrame数据是否有缺失值的方法是很低效的。尤其当数据量大时,人工查看很耗时。通过isnull和notnull方法,可以返回布尔值的对象。这时通过求和可以获取每列的缺失值数量,再通过求和就可以获取整个Dat
文本数据的读取与存储1、CSV文件的读取pandas库提供了将表格型数据读取为DataFrame数据结构的函数。在现实应用中,常用的有read_csv和read_table函数(1)、CSV是存储表格数据的常用文件格式,可通过read_csv函数进行读取。注意:读取CSV文件时,如果文件路径中有中文,需要加open函数,否则会报错。换言之,路径中没有中文,可以不加open函数(2)、对于CSV文件
Pandas数据结构pandas有两个基本的数据结构:Series和DataFrame。1.1创建Series数据需要引入pandas模块:importpandasaspd需要引入Series和DataFrame:frompandasimportSeries,DataFrameSeries数据:索引在左,值在右Series有values和index属性,可返还值数据的数据形式和索引对象Series
JSP技术:jsp概述、jsp基本语法、jsp的隐式对象、jsp指令、jsp动作元素、通过jsp做两个页面JSP概述:1.1什么是jsp:它的英文全称javaserverpages,java服务端页面,它是建立在servlet规范基础上的动态网页开发技术。java服务端页面:在jsp上可以写java代码,也可以写html标记,它运行在服务器端。jsp=java+html+jsp自身的一一些东西。为
会话以及会话管理技术1.会话概述:什么是会话:从打开浏览器,到访问网页,到最终关闭浏览器,整个过程就是一次会话。会话的特点:包含多个请求,一次完整的会话针对一个用户。会话管理技术:第一种:cookie技术,客户端技术。第二种:session技术,服务端技术。购物车案列:买完商品后,加入购入车,买的商品存到什么对象比较合适?1.使用request域对象保存商品信息:结论:使用request保存商品信
request请求对象、response响应对象1.请求和响应的概述:什么请求:在浏览器地址栏输入地址,点击回车请求服务器,这个过程就是一个请求过程。什么响应:服务器根据浏览器发送的请求,返回数据到浏览器在网页上进行显示,这个过程就称之为响应。HttpServletResponse对象HttpServletResponse是一个接口,它的父接口是ServletResponse,在开发中通常使用Ht
首先创建好项目工程,如下图:完善pom.xml文件,具体为:(依据自己的spark版本做修改)<dependencies><dependency><groupId>org.scala-lang</groupId><artifactId>scala-library</artifactId><version>2.11.
启动MySQL服务器失败,如下所示:Jobformysqld.servicefailedbecausethecontrolprocessexitedwitherrorcode.See"systemctlstatusmysqld.service"and"journalctl-xe"fordetails.根据提示,分别使用systemctlstatusmysqld.service和journalctl
在IDEA运行main函数的时遇到如下错误解决办法:Errorrunning'xxxxxx':Commandlineistoolong.ShortencommandlineforxxxxxxoralsoforApplicationdefaultconfiguration.原因:命令行的参数太长,需要进行修改。修改过程如下:在Run>EditConfiguration中修改选中
修改IDEA的Maven下载镜像源为国内镜像为阿里
DStream的转化操作DStreamAPI提供的与转化操作相关的方法如下:如下举例详解transform(func)方法和updateStateByKey(fhnc)方法:(1)、transform(func)方法transform方法及类似的transformWith(func)方法允许在DStream上应用任意RDD-to-RDD函数,它们可以被应用于未在DStreamAPI中暴露的任何RD
Servlet技术1.1Servlet概述:什么是servlet:它是运行在web服务器端的--个java小程序,简单来说,它就是一个java类在使用servlet时,需要导入javax.servlet下的jar包。比如:tomcat服务器提供了servlet的servlet-api.jar包,所以在开发时用tomcat服务器就不需要再导入servlet的jar包。Servlet它是一个资源,是用
Copyright © 2005-2024 51CTO.COM 版权所有 京ICP证060544号