隔壁小白的最近发布

mybatis--1、入门基本使用

一、mybatis概述1.1为什么需要mybatis传统通过jdbc连接数据库，缺点有很多：1、每次加载连接都需要显式指定驱动名字2、每次获取连接都需要指定连接信息，比如url、user、password等3、sql语句和java代码耦合严重4、参数类型需要手动判断5、结果集中，列名、数据类型都需要自己手动判断6、每次用完连接后都需要手动关闭1.2mybatis是什么mybatis是基于jdbc封

mybatis入门

原创 2020-04-09 16:56:52 1789 阅读

七、flink--异步IO

一、flink异步IO概述1.1异步IO的需求AsyncI/O是阿里巴巴贡献给社区的一个呼声非常高的特性，于1.2版本引入。主要目的是为了解决数据流与外部系统交互时的通信延迟（比如等待外部系统的响应）成为了系统瓶颈的问题。对于实时处理，当需要使用外部存储数据的时候，需要小心对待，不能让与外部系统之间的交互延迟对流处理的整个工作进度起决定性的影响。例如，在mapfunction等算子里访问外部存

flink异步IO

原创 2019-12-10 18:42:31 4672 阅读

六、flink--容错机制

一、flink容错机制1.1flink的容错概述在使用了flink的状态管理之后，因为此时所有的state的读写都只是在task本地的内存中进行，也就是state数据此时只存储在内存中。假设当任务出现故障之后，这些在内存中的state数据也会丢失，就无法恢复了。所以需要一种机制来保障这些state数据的不丢失，这也就是容错机制。flink通过checkpoint来实现。flink开启了checkp

flink--容错机制

原创 2019-12-09 17:40:07 2651 阅读

五、flink--state状态管理机制

一、flink状态原理1.1什么是flink中的状态？为什么需要状态管理？flink运行计算任务的过程中，会有很多中间处理过程。在整个任务运行的过程中，中间存在着多个临时状态，比如说某些数据正在执行一个operator，但是只处理了一半数据，另外一般还没来得及处理，这也是一个状态。假设运行过程中，由于某些原因，任务挂掉了，或者flink中的多个task中的一个task挂掉了，那么它在内存中的状

flink state状态管理

原创 2019-12-09 17:38:11 9324 阅读 1收藏

四、flink--window、eventTime和watermark原理和使用

一、flink的window机制1.1window概述streaming流式计算是一种被设计用于处理无限数据集的数据处理引擎，而无限数据集是指一种不断增长的本质上无限的数据集，而window是一种切割无限数据为有限块进行处理的手段。Window是无限数据流处理的核心，Window将一个无限的stream拆分成有限大小的”buckets”桶，我们可以在这些桶上做计算操作。1.2window的类型

window

eventtime

watermark原理和使用

原创 2019-12-09 17:37:08 4536 阅读 2点赞 1收藏

三、flink--DataStreamAPI原理以及用法

一、DataStream基本概述1.1datastream是什么？datastream是flink提供给用户使用的用于进行流计算和批处理的api，是对底层流式计算模型的api封装，便于用户编程。1.2datastream运行模型一个完整的datastream运行模型一般由三部分组成，分别为Source、Transformation、Sink。DataSource主要负责数据的读取（也就是从数据源读

DataStreamAPI原理和用法

原创 2019-12-09 17:35:26 1736 阅读 1点赞 2收藏

二、flink--集群环境搭建

一、Flink环境搭建1.1flink部署方式Flink可以选择的部署方式有：Local、Standalone（资源利用率低）、Yarn、Mesos、Docker、Kubernetes、AWS。我们主要对Standalone模式和Yarn模式下的Flink集群部署进行分析。Standalone模式常用于单机进行程序测试，Yarn模式常用于实际线上生产环境。1.2集群规划1、集群规划节点名称mast

flink环境搭建

原创 2019-12-09 17:28:43 5019 阅读 1点赞 2收藏

一、flink--架构、运行、调度原理

一、flink概述1.1流处理技术语义Atmostonce（最多一次）：每条数据记录最多被处理一次，潜台词也表明数据会有丢失（没被处理掉）的可能。Atleastonce（最少一次）：每条数据记录至少被处理一次。这个比上一点强的地方在于这里至少保证数据不会丢，至少被处理过，唯一不足之处在于数据可能会被重复处理。Exactlyonce（恰好一次）：每条数据记录正好被处理一次。没有数据丢失，也没有重复的

flink--架构、运行、调度原理

原创 2019-12-09 17:27:56 5144 阅读 1点赞 1收藏 1评论

一、kafka--基本原理、环境搭建、api使用

[TOC]一、概述1.1什么是kafkaKafka是一个分布式消息队列，采用scala语言开发。Kafka对消息保存时根据Topic进行归类，发送消息者称为Producer，消息接受者称为Consumer，此外kafka集群有多个kafka实例组成，每个实例(server)成为broker。无论是kafka集群，还是producer和consumer都依赖于zookeeper集群保存一些meta

kafka原理

kafka api使用

kafka环境搭建

原创 2019-11-20 23:17:38 1687 阅读

三、kibana原理和使用

一、Kibana概述Kibana是一个开源的分析和可视化平台，设计用于和Elasticsearch一起工作。你用Kibana来搜索，查看，并和存储在Elasticsearch索引中的数据进行交互。你可以轻松地执行高级数据分析，并且以各种图标、表格和地图的形式可视化数据。Kibana使得理解大量数据变得很容易。它简单的、基于浏览器的界面使你能够快速创建和共享动态仪表板，实时显示Elasticsea

kibana原理和使用

原创 2019-11-17 12:36:16 1954 阅读

二、logstash原理和使用

一、概述1.1logstash简介logstash是一个数据分析软件，主要目的是分析log日志。整一套软件可以当作一个MVC模型，logstash是controller层，Elasticsearch是一个model层，kibana是view层。首先将数据传给logstash，它将数据进行过滤和格式化（转成JSON格式），然后传给Elasticsearch进行存储、建搜索的索引，kibana提供前

logstash原理和使用

原创 2019-11-17 12:35:14 10000+阅读 2收藏

一、Elasticsearch原理与基本使用

[TOC]一、Elasticsearch概述1.1什么是搜索搜索，就是在任何场景下，找寻想要的信息。通过关键字检索出与此关键字有关的信息。这和查询还不太一样，查询通常是在表格类型的数据中查找，字段的内容的长度往往不大。1.2使用传统数据库实现搜索传统数据库的情况下，如果要查询某个字段是否包含某些关键字的话，需要使用到like关键字来进行字段匹配，很大概率导致全表扫描，本身来说性能就不算好。如果

Elasticsearch原理与基本使用

原创 2019-11-17 12:33:16 2735 阅读

六、spark--spark调优

[TOC]一、spark调优概论1.1什么是spark调优spark的计算本质是分布式计算，程序的性能受集群中的任何因素的影响，如：CPU、网络带宽、内存等。一般情况下，如果内存足够大，那么其他因素影响性能。然后出现调优需求时，更多是因为资源不够用的情况，所以才需要调节资源的使用情况，更加高效的使用资源。比如如果内存比较紧张，不足以存放所有数据（10亿条），需要针对内存的使用，进行调优来减少内存

spark调优

原创 2019-11-15 18:08:06 1121 阅读 1点赞 1收藏

五、spark--spark streaming原理和使用

一、spark-streaming概述1.1常用的实时计算引擎实时计算引擎也叫流式计算引擎，常用的目前有3个：1、ApacheStorm：真正的流式计算2、SparkStreaming：严格上来说，不是真正的流式计算（实时计算）把连续的流式数据，当成不连续的RDD来处理本质：是一个离散计算（不连续的数据）面试中问到时：先说它的本质，然后说自己的理解常用的方法和其他同类型技术的对比3、A

spark streaming原理和使用

原创 2019-11-15 18:07:27 1114 阅读

四、spark--sparkSQL原理和使用

[TOC]一、sparkSQL概述1.1什么是sparkSQLSparkSQL是Spark用来处理结构化数据的一个模块，它提供了一个编程抽象叫做DataFrame并且作为分布式SQL查询引擎的作用。类似于hive的作用。1.2sparkSQL的特点1、容易集成：安装Spark的时候，已经集成好了。不需要单独安装。2、统一的数据访问方式：JDBC、JSON、Hive、parquet文件（一种列式存

sparkSQL原理和使用

原创 2019-11-15 18:06:38 3875 阅读

官方博客	全部文章	热门标签	班级博客
了解我们	网站地图	意见反馈

鸿蒙开发者社区	51CTO学堂
51CTO	软考资讯

51CTO博客

KingLab