wx5da03a3bd2999的博客_华为认证,Java Web程序设计,Hadoop,Spark

Spark Streaming工作原理

一、SparkStreaming工作原理SparkStreaming是SparkCoreAPI的扩展，它支持弹性的，高吞吐的，容错的实时数据流的处理。数据可以通过多种数据源获取，例如Kafka，Flume，Kinesis以及TCPsockets数据源。也可以通过例如map，reduce，join，window等的高级函数组成的复杂算法处理。最终，处理后的数据可以输出到文件系统，数据库以及实时仪表盘

Spark Streaming

原创 2020-09-08 16:03:58 587 阅读

Python数据分析之数据清洗与整理（笔记）

一、数据清洗现实中通过各种方式收集到的数据都是“肮脏”的。本节将着重讲解数据清洗的工作，如缺失值的处理、重复数据的处理及如何替代值等具体操作。1、处理缺失值1.1、侦查缺失值通过人工查看DataFrame数据是否有缺失值的方法是很低效的。尤其当数据量大时，人工查看很耗时。通过isnull和notnull方法，可以返回布尔值的对象。这时通过求和可以获取每列的缺失值数量，再通过求和就可以获取整个Dat

数据清洗与整理

原创 2020-09-08 15:01:51 2416 阅读

Python数据分析之文本数据的读取与存储（笔记）

文本数据的读取与存储1、CSV文件的读取pandas库提供了将表格型数据读取为DataFrame数据结构的函数。在现实应用中，常用的有read_csv和read_table函数（1）、CSV是存储表格数据的常用文件格式，可通过read_csv函数进行读取。注意：读取CSV文件时，如果文件路径中有中文，需要加open函数，否则会报错。换言之，路径中没有中文，可以不加open函数（2）、对于CSV文件

文本数据的读取与存储

原创 2020-07-14 17:28:53 1445 阅读

Python数据分析之Pandas库（笔记）

Pandas数据结构pandas有两个基本的数据结构：Series和DataFrame。1.1创建Series数据需要引入pandas模块：importpandasaspd需要引入Series和DataFrame：frompandasimportSeries,DataFrameSeries数据：索引在左，值在右Series有values和index属性，可返还值数据的数据形式和索引对象Series

Python数据分析之Pandas库

原创 2020-07-13 22:12:15 1607 阅读

JSP技术（笔记）

JSP技术:jsp概述、jsp基本语法、jsp的隐式对象、jsp指令、jsp动作元素、通过jsp做两个页面JSP概述:1.1什么是jsp:它的英文全称javaserverpages,java服务端页面，它是建立在servlet规范基础上的动态网页开发技术。java服务端页面:在jsp上可以写java代码，也可以写html标记，它运行在服务器端。jsp=java+html+jsp自身的一一些东西。为

JSP技术

原创 2020-07-13 21:55:16 459 阅读

会话以及会话管理技术（笔记）

会话以及会话管理技术1.会话概述:什么是会话:从打开浏览器，到访问网页，到最终关闭浏览器，整个过程就是一次会话。会话的特点:包含多个请求，一次完整的会话针对一个用户。会话管理技术:第一种:cookie技术，客户端技术。第二种:session技术，服务端技术。购物车案列:买完商品后，加入购入车，买的商品存到什么对象比较合适?1.使用request域对象保存商品信息:结论:使用request保存商品信

会话以及会话管理技术

原创 2020-07-13 21:53:58 460 阅读

request请求对象、response响应对象（笔记）

request请求对象、response响应对象1.请求和响应的概述:什么请求:在浏览器地址栏输入地址，点击回车请求服务器，这个过程就是一个请求过程。什么响应:服务器根据浏览器发送的请求，返回数据到浏览器在网页上进行显示，这个过程就称之为响应。HttpServletResponse对象HttpServletResponse是一个接口，它的父接口是ServletResponse,在开发中通常使用Ht

request请求对象

response响应对象

原创 2020-07-13 21:52:40 1423 阅读 1点赞

Spark小实例（统计出日志中出现排行前10的IP地址）IDEA实现

首先创建好项目工程，如下图：完善pom.xml文件，具体为：（依据自己的spark版本做修改）<dependencies><dependency><groupId>org.scala-lang</groupId><artifactId>scala-library</artifactId><version>2.11.

spark小实例

原创 2020-07-13 21:45:58 832 阅读

CentOS7下MySQL8服务启动失败解决方法

启动MySQL服务器失败，如下所示：Jobformysqld.servicefailedbecausethecontrolprocessexitedwitherrorcode.See"systemctlstatusmysqld.service"and"journalctl-xe"fordetails.根据提示，分别使用systemctlstatusmysqld.service和journalctl

CentOS7下MySQL8服务启动失败

原创 2020-05-29 09:36:24 3533 阅读

Error running 'xxx': Command line is too long.

在IDEA运行main函数的时遇到如下错误解决办法：Errorrunning'xxxxxx':Commandlineistoolong.ShortencommandlineforxxxxxxoralsoforApplicationdefaultconfiguration.原因：命令行的参数太长，需要进行修改。修改过程如下：在Run>EditConfiguration中修改选中

Error running 'xxx':

原创 2020-05-24 14:54:25 1844 阅读

修改IDEA的Maven下载镜像源为国内镜像@阿里

修改IDEA的Maven下载镜像源为国内镜像为阿里

修改IDEA的Maven下载源

修改IDEA的下载镜像源

原创 2020-05-24 13:44:57 3659 阅读

Spark Streaming的核心DStream之转换操作实例

DStream的转化操作DStreamAPI提供的与转化操作相关的方法如下：如下举例详解transform(func)方法和updateStateByKey(fhnc)方法：（1）、transform(func)方法transform方法及类似的transformWith(func)方法允许在DStream上应用任意RDD-to-RDD函数，它们可以被应用于未在DStreamAPI中暴露的任何RD

DStream

sparkstreaming

DStream API

DStream转换操作方法

原创 2020-05-23 17:29:36 1217 阅读

Servlet技术（笔记）

Servlet技术1.1Servlet概述:什么是servlet:它是运行在web服务器端的--个java小程序，简单来说，它就是一个java类在使用servlet时，需要导入javax.servlet下的jar包。比如:tomcat服务器提供了servlet的servlet-api.jar包，所以在开发时用tomcat服务器就不需要再导入servlet的jar包。Servlet它是一个资源，是用

Servlet

原创 2020-04-29 20:56:38 631 阅读

Spark小实例——求文件中的最大值和最小值（IDEA实现）

Spark小实例求文件中的最大值和最小值

原创 2020-04-27 18:44:14 2879 阅读

Spark运行原理（大白话笔记）

spark运行原理讲解的是spark在运行期间集群中的节点是怎么接收任务和处理任务的具体的步骤如下：1、在客户端通过命令提交一个job任务的时候，Driver就会启动相关的节点进行工作2、客户端的driver会向master注册资源。在这两步中，driver的角色实际上就是通知集群有任务了，开始干活，而具体启动任务的是master，master的角色就是分配做任务的资源，并且监控资源的使用情况，这

spark运行原理

原创 2020-04-14 14:54:51 647 阅读

Web项目创建后WEB-INF下面没有出现web.xml的解决方法

第一种解决方案：创建完项目后，需要手动创建出web.xml再次打开WEB-INF下，就会发现生成了web.xml第二种解决方案：在创建项目的同时，就自动生成web.xml注意：创建web项目时，点Next，不要直接点Finish，直到出现下面界面，选取画圈部分即可自动生成web.xml

WEB-INF下面没有出现web.xm

原创 2020-03-27 12:15:33 1047 阅读

Python数据分析之Numpy库（详细笔记）

1.创建ndarray数组：Numpy库能将序列数据（列表，元组，数组等其他数据类型）转换为ndarray数组需要引入numpy库：importnumpyasnp语法：np.array(data)参数说明：data为需要转换为ndarray数组的序列Numpy库还有一些函数可以创建一些特殊的数组：arr=np.array()arange：类似内置的range函数，用于创建数组ones：创建指定长度

Numpy库

Python数据分析

原创 2020-03-26 21:40:38 566 阅读

Python数据分析之Numpy库（笔记）

2.1ndarray多维数组2.1.1创建ndarray数组通过NumPy库的array函数，即可轻松地创建ndarray数组。NumPy库能将数据（列表，元组，数组，或其他序列类型）转换为ndarray数组第一步先要引入NumPy库：importnumpyasnparray函数语法;np.array(data)参数说明：data为需要转换为ndarray数组的序列通常来说，ndarray是一个通

Numpy库

Python数据分析

原创 2020-03-26 21:36:53 747 阅读

JavaScript基础（笔记）

1.3JavaScript基础1.3.1DOM的相关知识DOM的含义:DocumentObjectModel,文档对象模型，文档:指的是标记文档(html,xml)対象:可以使用dom里面的相关属性和方法来解析标记性文档.Dom的组成:核心Dom,HtmlDom,XMLDom.Dom如何解析html文档:DOM会根据html的层级结构，在内存中形成一个树形结构，树形结构里面有标记元素和属性文本等元

JavaScript基础

原创 2020-03-26 21:32:17 445 阅读

CSS技术（笔记）

2.1CSS技术1.简介：它是叠层样式表，cascadingstytlesheet，它的作用是增强网页的显示效果。目的：使用css让网页内容和样式分离，便于网站代码后期的维护。书写规范：选择器{属性1:值1;属性2:值2;}提示：如果值为若干单词，则要给值加引号实例：通过css样式<div>标记进行设置div{border:1pxsolidred;width:600px;height:

CSS技术

原创 2020-03-26 21:30:48 451 阅读

HTML简介（笔记）

1.HTML技术1.1HTML简介它是一门描述网页的语言，全称（HyperTextMarkUpLanguage）超文本标记语言。超文本：超出文本的范畴，指的是在网页上面可以描述文本、图片、视频等内容标记：标签，在标签里面书写内容。语言：html就是用户和浏览器交互的工具。简单来讲，浏览器会解析html的标记，以特定的效果展示出来。1.2html的主要组成部分：文档的声明<!DOCTYPE&g

HTML笔记

原创 2020-03-26 21:29:47 315 阅读

官方博客	全部文章	热门标签	班级博客
了解我们	网站地图	意见反馈

鸿蒙开发者社区	51CTO学堂
51CTO	软考资讯

51CTO博客

wx5da03a3bd2999的博客