wx5da03a3bd2999的博客_华为认证,Java Web程序设计,Hadoop,Spark原创

欢迎

K8S集群（高可用）搭建详细过程

多master（高可用）1. 安装要求在开始之前，部署Kubernetes集群机器需要满足以下几个条件：一台或多台机器，操作系统硬件配置：2GB或更多RAM，2个CPU或更多CPU，硬盘30GB或更多可以访问外网，需要拉取镜像，如果服务器不能上网，需要提前下载镜像并导入节点禁止swap分区2. 准备环境（所有节点操作）角色IPVIP（虚拟ip）192.168.169.50

docker

Docker

原创 2022-12-21 15:20:51 277 阅读

SpringBoot定时任务 @Scheduled 没有准时执行的原因及解决方案

问题：在spring boot 项目中设置了共13个定时任务，突然有一天部分定时任务就不再执行了，重启程序定时任务也不执行，莫名其妙，查了好多资料，以下是关于我查到的关于定时任务突然停掉的一些原因。排查：查到了大部分经验说是spring boot中得定时任务都时单线程得，要进行多线程执行；单线程测试：package com.example.demo.conf;import org.springfr

定时任务

Async

System

原创 2022-12-21 11:20:46 10000+阅读 1点赞

Spark Streaming工作原理

一、SparkStreaming工作原理SparkStreaming是SparkCoreAPI的扩展，它支持弹性的，高吞吐的，容错的实时数据流的处理。数据可以通过多种数据源获取，例如Kafka，Flume，Kinesis以及TCPsockets数据源。也可以通过例如map，reduce，join，window等的高级函数组成的复杂算法处理。最终，处理后的数据可以输出到文件系统，数据库以及实时仪表盘

Spark Streaming

原创 2020-09-08 16:03:58 590 阅读

Python数据分析之数据清洗与整理（笔记）

一、数据清洗现实中通过各种方式收集到的数据都是“肮脏”的。本节将着重讲解数据清洗的工作，如缺失值的处理、重复数据的处理及如何替代值等具体操作。1、处理缺失值1.1、侦查缺失值通过人工查看DataFrame数据是否有缺失值的方法是很低效的。尤其当数据量大时，人工查看很耗时。通过isnull和notnull方法，可以返回布尔值的对象。这时通过求和可以获取每列的缺失值数量，再通过求和就可以获取整个Dat

数据清洗与整理

原创 2020-09-08 15:01:51 2413 阅读

Python数据分析之文本数据的读取与存储（笔记）

文本数据的读取与存储1、CSV文件的读取pandas库提供了将表格型数据读取为DataFrame数据结构的函数。在现实应用中，常用的有read_csv和read_table函数（1）、CSV是存储表格数据的常用文件格式，可通过read_csv函数进行读取。注意：读取CSV文件时，如果文件路径中有中文，需要加open函数，否则会报错。换言之，路径中没有中文，可以不加open函数（2）、对于CSV文件

文本数据的读取与存储

原创 2020-07-14 17:28:53 1447 阅读

Python数据分析之Pandas库（笔记）

Pandas数据结构pandas有两个基本的数据结构：Series和DataFrame。1.1创建Series数据需要引入pandas模块：importpandasaspd需要引入Series和DataFrame：frompandasimportSeries,DataFrameSeries数据：索引在左，值在右Series有values和index属性，可返还值数据的数据形式和索引对象Series

Python数据分析之Pandas库

原创 2020-07-13 22:12:15 1609 阅读

JSP技术（笔记）

JSP技术:jsp概述、jsp基本语法、jsp的隐式对象、jsp指令、jsp动作元素、通过jsp做两个页面JSP概述:1.1什么是jsp:它的英文全称javaserverpages,java服务端页面，它是建立在servlet规范基础上的动态网页开发技术。java服务端页面:在jsp上可以写java代码，也可以写html标记，它运行在服务器端。jsp=java+html+jsp自身的一一些东西。为

JSP技术

原创 2020-07-13 21:55:16 464 阅读

会话以及会话管理技术（笔记）

会话以及会话管理技术1.会话概述:什么是会话:从打开浏览器，到访问网页，到最终关闭浏览器，整个过程就是一次会话。会话的特点:包含多个请求，一次完整的会话针对一个用户。会话管理技术:第一种:cookie技术，客户端技术。第二种:session技术，服务端技术。购物车案列:买完商品后，加入购入车，买的商品存到什么对象比较合适?1.使用request域对象保存商品信息:结论:使用request保存商品信

会话以及会话管理技术

原创 2020-07-13 21:53:58 462 阅读

request请求对象、response响应对象（笔记）

request请求对象、response响应对象1.请求和响应的概述:什么请求:在浏览器地址栏输入地址，点击回车请求服务器，这个过程就是一个请求过程。什么响应:服务器根据浏览器发送的请求，返回数据到浏览器在网页上进行显示，这个过程就称之为响应。HttpServletResponse对象HttpServletResponse是一个接口，它的父接口是ServletResponse,在开发中通常使用Ht

request请求对象

response响应对象

原创 2020-07-13 21:52:40 1426 阅读 1点赞

Spark小实例（统计出日志中出现排行前10的IP地址）IDEA实现

首先创建好项目工程，如下图：完善pom.xml文件，具体为：（依据自己的spark版本做修改）<dependencies><dependency><groupId>org.scala-lang</groupId><artifactId>scala-library</artifactId><version>2.11.

spark小实例

原创 2020-07-13 21:45:58 839 阅读

CentOS7下MySQL8服务启动失败解决方法

启动MySQL服务器失败，如下所示：Jobformysqld.servicefailedbecausethecontrolprocessexitedwitherrorcode.See"systemctlstatusmysqld.service"and"journalctl-xe"fordetails.根据提示，分别使用systemctlstatusmysqld.service和journalctl

CentOS7下MySQL8服务启动失败

原创 2020-05-29 09:36:24 3554 阅读

Error running 'xxx': Command line is too long.

在IDEA运行main函数的时遇到如下错误解决办法：Errorrunning'xxxxxx':Commandlineistoolong.ShortencommandlineforxxxxxxoralsoforApplicationdefaultconfiguration.原因：命令行的参数太长，需要进行修改。修改过程如下：在Run>EditConfiguration中修改选中

Error running 'xxx':

原创 2020-05-24 14:54:25 1893 阅读

修改IDEA的Maven下载镜像源为国内镜像@阿里

修改IDEA的Maven下载镜像源为国内镜像为阿里

修改IDEA的Maven下载源

修改IDEA的下载镜像源

原创 2020-05-24 13:44:57 3667 阅读

Spark Streaming的核心DStream之转换操作实例

DStream的转化操作DStreamAPI提供的与转化操作相关的方法如下：如下举例详解transform(func)方法和updateStateByKey(fhnc)方法：（1）、transform(func)方法transform方法及类似的transformWith(func)方法允许在DStream上应用任意RDD-to-RDD函数，它们可以被应用于未在DStreamAPI中暴露的任何RD

DStream

sparkstreaming

DStream API

DStream转换操作方法

原创 2020-05-23 17:29:36 1221 阅读

Servlet技术（笔记）

Servlet技术1.1Servlet概述:什么是servlet:它是运行在web服务器端的--个java小程序，简单来说，它就是一个java类在使用servlet时，需要导入javax.servlet下的jar包。比如:tomcat服务器提供了servlet的servlet-api.jar包，所以在开发时用tomcat服务器就不需要再导入servlet的jar包。Servlet它是一个资源，是用

Servlet

原创 2020-04-29 20:56:38 634 阅读

Spark小实例——求文件中的最大值和最小值（IDEA实现）

Spark小实例求文件中的最大值和最小值

原创 2020-04-27 18:44:14 2885 阅读

Spark运行原理（大白话笔记）

spark运行原理讲解的是spark在运行期间集群中的节点是怎么接收任务和处理任务的具体的步骤如下：1、在客户端通过命令提交一个job任务的时候，Driver就会启动相关的节点进行工作2、客户端的driver会向master注册资源。在这两步中，driver的角色实际上就是通知集群有任务了，开始干活，而具体启动任务的是master，master的角色就是分配做任务的资源，并且监控资源的使用情况，这

spark运行原理

原创 2020-04-14 14:54:51 651 阅读

Web项目创建后WEB-INF下面没有出现web.xml的解决方法

第一种解决方案：创建完项目后，需要手动创建出web.xml再次打开WEB-INF下，就会发现生成了web.xml第二种解决方案：在创建项目的同时，就自动生成web.xml注意：创建web项目时，点Next，不要直接点Finish，直到出现下面界面，选取画圈部分即可自动生成web.xml

WEB-INF下面没有出现web.xm

原创 2020-03-27 12:15:33 1052 阅读

Python数据分析之Numpy库（详细笔记）

1.创建ndarray数组：Numpy库能将序列数据（列表，元组，数组等其他数据类型）转换为ndarray数组需要引入numpy库：importnumpyasnp语法：np.array(data)参数说明：data为需要转换为ndarray数组的序列Numpy库还有一些函数可以创建一些特殊的数组：arr=np.array()arange：类似内置的range函数，用于创建数组ones：创建指定长度

Numpy库

Python数据分析

原创 2020-03-26 21:40:38 566 阅读

Python数据分析之Numpy库（笔记）

2.1ndarray多维数组2.1.1创建ndarray数组通过NumPy库的array函数，即可轻松地创建ndarray数组。NumPy库能将数据（列表，元组，数组，或其他序列类型）转换为ndarray数组第一步先要引入NumPy库：importnumpyasnparray函数语法;np.array(data)参数说明：data为需要转换为ndarray数组的序列通常来说，ndarray是一个通

Numpy库

Python数据分析

原创 2020-03-26 21:36:53 747 阅读

JavaScript基础（笔记）

1.3JavaScript基础1.3.1DOM的相关知识DOM的含义:DocumentObjectModel,文档对象模型，文档:指的是标记文档(html,xml)対象:可以使用dom里面的相关属性和方法来解析标记性文档.Dom的组成:核心Dom,HtmlDom,XMLDom.Dom如何解析html文档:DOM会根据html的层级结构，在内存中形成一个树形结构，树形结构里面有标记元素和属性文本等元

JavaScript基础

原创 2020-03-26 21:32:17 448 阅读

CSS技术（笔记）

2.1CSS技术1.简介：它是叠层样式表，cascadingstytlesheet，它的作用是增强网页的显示效果。目的：使用css让网页内容和样式分离，便于网站代码后期的维护。书写规范：选择器{属性1:值1;属性2:值2;}提示：如果值为若干单词，则要给值加引号实例：通过css样式<div>标记进行设置div{border:1pxsolidred;width:600px;height:

CSS技术

原创 2020-03-26 21:30:48 450 阅读

HTML简介（笔记）

1.HTML技术1.1HTML简介它是一门描述网页的语言，全称（HyperTextMarkUpLanguage）超文本标记语言。超文本：超出文本的范畴，指的是在网页上面可以描述文本、图片、视频等内容标记：标签，在标签里面书写内容。语言：html就是用户和浏览器交互的工具。简单来讲，浏览器会解析html的标记，以特定的效果展示出来。1.2html的主要组成部分：文档的声明<!DOCTYPE&g

HTML笔记

原创 2020-03-26 21:29:47 315 阅读

Hadoop HA 集群配置文件

1、hadoop-env.sh配置，2、hdfs-site.xml配置文件，3、core-site.xml配置文件，4、mapred-site.xml配置，5、yarn-site.xml配置，6、slaves配置（DataNode）

HA配置

原创 2019-11-09 23:08:35 755 阅读

解决：CentOS 7下yum install mysql-server无包可用问题

> [root@master ~]# yum install mysql-server > 已加载插件：fastestmirror > Loading mirror speeds from cached hostfile > * base: ap.stykers.moe > * extras: ap.stykers.moe > * updates: ap.stykers.moe > 没有可用软件包 mysql-server。 > 错误：无须任何处理

MySQL

CentOS 7安装MySQL

原创 2019-11-04 21:10:33 1825 阅读

JAVA API操作小文件合并至HDFS（笔记）

JAVA API

小文件合并至HDFS

原创 2019-10-31 23:02:02 1789 阅读 1评论

Hadoop HA高可用集群搭建（详细）

一、准备物理集群。1、物理集群搭建方式。采用搭建3台虚拟机的方式来部署3个节点的物理集群。2、虚拟机准备。准备一个已近建好的虚拟机进行克隆。（建议为没进行过任何操作的）在要选择克隆的虚拟机上右击鼠标，管理，克隆。在弹出对话框中进行以下操作。（1）、下一步。（2）、选择虚拟机中的当前状态，下一步。（3）、选择创建完整克隆，下一步。（4）、输入虚拟机名称，下一步。（5）、克隆完成。（6）、按照

Hadoop集群搭建

HA高可用

HDFS HA

原创 2019-10-26 15:25:32 2314 阅读 1点赞

HDFS主机维护操作（笔记）

**主机的维护操作** > 主机的维护操作主要包括Active NameNode(活跃状态的名字节点) 、Standby NameNode(备用状态的名字节点) 、DataNode(数据节点) 、ResourceManager(资源管理器) 、Node Manager(节点管理器) 的下线、上线操作，这些操作都是针对原有节点进行而非新加的节点

HDFS主机维护

原创 2019-10-23 10:27:21 676 阅读

使用 VMware ESXi5.1搭建 VMware虚拟化平台之配置 iSCSI 目标服务器

使用MicrosoftiSCSISoftwareTarget在WindowsServer2008R2上搭建iSCSI目标服务器，在Windows10使用iSCSI发起程序连接到iSCSI存储MicrosoftiSCSISoftwareTarget3.3只能安装在WindowsServer2008R2服务器操作系统中，建议安装虚拟机WindowsServer2008R21、安装MicrosoftiS

iSCSI

配置 iSCSI 目标服务器

原创 2019-10-22 12:15:10 1708 阅读 1点赞 1收藏

HDFS的Java API操作（笔记）

注意：需要获取哪个打开main函数中的哪个packagecom.hadoop.test;importjava.net.URI;importorg.apache.hadoop.conf.Configuration;importorg.apache.hadoop.fs.FileStatus;importorg.apache.hadoop.fs.FileSystem;importorg.apache.h

HDFS的Java API操作

原创 2019-10-21 20:50:33 1302 阅读 1点赞

官方博客	全部文章	热门标签	班级博客
了解我们	网站地图	意见反馈

鸿蒙开发者社区	51CTO学堂
51CTO	软考资讯

51CTO博客

wx5da03a3bd2999的博客