high2011的博客_面试,Spark,Kafka

[数据库汇总]-- oracle存储过程

本文主要阐述了Oracle10g的存储过程的编写语法，并且附加了大量的代

数据库

存储过程

sql

触发器

转载 2022-11-16 15:33:29 276 阅读

[Java 基础]-- JDBC数据库连接方式（完整版本）

列举几种常用Jdbc连接配置以及获取sqlSession的方式。一、最常规的通过Jdbc连

数据库

sql

hibernate

java

原创 2022-11-16 15:32:52 100 阅读

[Mysql基础]-- MySQL索引背后的数据结构及算法原理

摘要本文以MySQL数据库为研究对象，讨论与数据库索引相关的一些话题。特

mysql

数据

主存

转载 2022-11-16 15:32:06 19 阅读

[Spark streaming 基础]--使用低阶API消费Kafka数据(手动更新offset)

版本：spark(1.6.0)+kafka(0.9.0)+zookeeper(3.4.6) 由于目前spark每天需要从

spark

spark streaming

kafka

consumer

apache

原创 2022-11-16 15:31:14 120 阅读

[Spark基础]--聚合操作-reduceByKey、combineBykey、groupBy和AggregateByKey

1、Spark中的reduceByKey和CombineByKey有什么区别？groupByKey和C

spark

数据

html

翻译 2022-11-16 15:30:10 292 阅读

[Spark参数配置]--1.6.0版本的参数配置

前言以下是整理的Spark中的一些配置参数，1.6.0版本的官方文档请参考Spark

spark

应用程序

驱动程序

原创 2022-11-16 15:29:44 126 阅读

[Spark升级]--在CDH-5.10.0中添加spark2(未添加Kerberos认证)

一、环境准备jdk-1.8+scala-2.11.X+python-2.7二、创建目录mkdir -p /opt/cloude

spark2

cdh

cloudera

spark

html

原创 2022-11-16 15:29:04 129 阅读

[Java基础]-- Java GC 垃圾回收器的分类和优缺点

关于Java的垃圾回收器，一直是个头疼的问题，这里简要说明下分类和优缺点，圾回收...

Java

垃圾回收

垃圾回收器

java

老年代

原创 2022-11-16 15:28:24 154 阅读

[Flink课程]---- 1.1 关于 Apache Flink

一、官方介绍1、jira：https://issues.apache.org/jira/projects/FLINK2、wiki：https://c

github

flink

流处理

数据

转载 2022-11-16 15:27:44 119 阅读

[CDH安装]--关于Spark版本的支持

原文：https://www.cloudera.com/documentation/spark2/latest/topics/spark2_requir

cloudera

spark

apache

翻译 2022-11-16 15:27:19 172 阅读

[Hadoop基础]-- Hadoop namenode的HA搭建

基本架构如下 1\\准备机器h15、h16、h17、h18将zookeeper文件复制到h15\h16\h17上，并且解压说明如下：zookeeper-3.4.6/zookeeper-3.4.6/docs/zookeeperStarted.html2\\搭建zookeeper：使用机器h15\h16\h17(非单机版配置需要添加红色字体内容)【a】分别在h15\h16\h17上zooke

hadoop

apache

zookeeper

hdfs

原创 2022-11-15 13:11:32 139 阅读

[Java 面试]-- 常见问题及答案

-----------

java

数据

html

作用域

原创 2022-11-15 13:10:27 289 阅读

[Java 基础]-- corejava知识汇总

-------------------CoreJava第一阶段--------------------------- day1------------------------------------------------------- B/S：Browser/Server C/S：Clinet/Server 第一代编程语言：机器代码、机械码。第二代编程语言：汇编。第三代高级编程语言：Java

java

数组

变量名

原创 2022-11-15 13:09:44 79 阅读

[美文]-- 为何毕业三年后的差距这么大?

“ 提问为什么毕业三年之后大家的差距拉的这么大？ ” 最佳：《...

文章

知乎

商业

模版

转载 2022-11-15 13:09:15 57 阅读

[Scala进阶]--匿名函数和高阶函数

数的类型。二函数类型1、定义在Scala语言中，函数类型的格式为A =>B，表示一个接受类型A...

scala

匿名函数

高阶函数

转载 2022-11-14 19:06:33 86 阅读

[Akka基础]--学习资料链接

一、官方资料Akka官方介绍：https://akka.

akka

并发编程

scala

html

java

原创 2022-11-14 19:06:13 142 阅读

[Spark进阶]--Spark配置参数说明

置系统：Spark属性...

Spark

spark

序列化

应用程序

转载 2022-11-14 19:06:08 324 阅读

[数据结构]--WiscKey: Separating Keys from Values in SSD-Conscious Storage

大效应。YCSB...

数据结构

LSM

数据

高并发

文件系统

转载 2022-11-14 19:05:41 199 阅读

[Flink基础]--Apache Flink中的广播状态实用指南

释了广播状态是什么，并展示了如何将其应用于评估事件流上的动态模式...

Flink

Broadcast

应用程序

flink

apache

翻译 2022-11-14 19:05:23 272 阅读

[Spark进阶]--Spark RDMA技术

Apache Spark RDMA插件Apache Spark™是一种用于大规模数据处理

spark

RDMA

apache

数据

翻译 2022-11-14 19:05:09 270 阅读

[Spark 进阶]-- 优化Spark作业以获得最佳性能

并且满负载时，硬件部分实际上是因为并非所有作业在性能方面都是相同的。不幸的是，要以最佳方式实...

spark

scala

数据

翻译 2022-11-14 19:04:56 92 阅读

[Flink课程]---- 9.1 使用Ambari 搭建Flink 集群

1 前言1.1 概览 Stateful Computations over Data Streams(数据流的状态计算) Apache Flink是一个框架和分布式处理引擎，用于对无界和有界数据流进行有状态计算。Flink设计为在所有常见的集群环境中运行，以内存速度和任何规模执行计算。在这里，我们解释了Flink架构的重要方面。处理无界和有界数据任何类型的数据都是作...

Flink

flink

apache

maven

原创 2022-11-14 19:04:44 1085 阅读 1评论

【Kafka升级】-- 官方指导及注意事项

2.2.0中的显着变化从0.8.x，0.9.x，0.10.0.x，0.10.1.x，0.10.2.x，0.11.0.x，1.0.x，1.1.x或2.0.0升级到2.1.0请注意，2.1.x包含对用于存储使用者偏移量的内部架构的更改。升

kafka

运维

分布式

重新启动

java

翻译 2022-11-14 19:04:43 375 阅读

[大数据汇总]--spark、hadoop未来发展趋势解读

由于这个话题是一篇个人新闻论坛，所以此处不便复制粘贴只

大数据

复制粘贴

javascript

转载 2022-11-14 19:02:26 106 阅读

[点点滴滴]--一些话

2019-02-22 09:46:00给自己的要求真的高吗？你有试过好好去要求自

杂感

缓存

负载均衡

统计分析

原创 2022-11-14 19:02:18 35 阅读

[Impala基础]-- Impala SQL语言参考(初步了解，CDH5.7以上版本)

初识Impala SQL语言之前一直使用Hive来实现业务，没有详细研究Impa

impala

hive

sql

内置函数

翻译 2022-11-14 19:02:12 786 阅读

[Hadoop基础]-- web hdfs端口50075和httpfs端口14000的使用

参考文档CDH介绍hadoop组件

hadoop

hdfs

apache

原创 2022-11-14 19:01:50 312 阅读

[Spark版本升级]-- spark-2.2.0发行说明

Spark-2.2.0版本发行时间：2017-7-11 一、Jira说明：https://issues.apache.org/jira/secure/ReleaseNote.jspa?projectId=12315420&version=12338275 子任务[ SPARK-1267 ] - 添加PySpark的pip安装程序[&n

分布式

spark

sql

java

翻译 2022-11-14 19:01:30 180 阅读

[Python 基础]-- 实践抓取淘宝MM照片

python实践抓取淘宝Mne=1&srcid=0315T7fIRgNXbQIDCFZ8W2jj&pass_ticket=...

python

d3

2d

json

原创 2022-11-14 19:01:26 21 阅读

[Java基础]-- 快速排序专栏

实现如下）选择随机元素作为枢轴。选择中位数作为枢轴。quickSort的关键过程是partition（）。目标分区是给定一个数组和数...

java

数组

快速排序

合并排序

翻译 2022-11-14 19:01:02 71 阅读

官方博客	全部文章	热门标签	班级博客
了解我们	网站地图	意见反馈

鸿蒙开发者社区	51CTO学堂
51CTO	软考资讯

51CTO博客

wx5b9871c196fb8的博客

[数据库汇总]-- oracle存储过程

[Java 基础]-- JDBC数据库连接方式（完整版本）

[Mysql基础]-- MySQL索引背后的数据结构及算法原理

[Spark streaming 基础]--使用低阶API消费Kafka数据(手动更新offset)

[Spark基础]--聚合操作-reduceByKey、combineBykey、groupBy和AggregateByKey

[Spark参数配置]--1.6.0版本的参数配置

[Spark升级]--在CDH-5.10.0中添加spark2(未添加Kerberos认证)

[Java基础]-- Java GC 垃圾回收器的分类和优缺点

[Flink课程]---- 1.1 关于 Apache Flink

[CDH安装]--关于Spark版本的支持

[Hadoop基础]-- Hadoop namenode的HA搭建

[Java 面试]-- 常见问题及答案

[Java 基础]-- corejava知识汇总

[美文]-- 为何毕业三年后的差距这么大?

[Scala进阶]--匿名函数和高阶函数

[Akka基础]--学习资料链接

[Spark进阶]--Spark配置参数说明

[数据结构]--WiscKey: Separating Keys from Values in SSD-Conscious Storage

[Flink基础]--Apache Flink中的广播状态实用指南

[Spark进阶]--Spark RDMA技术

[Spark 进阶]-- 优化Spark作业以获得最佳性能

[Flink课程]---- 9.1 使用Ambari 搭建Flink 集群

【Kafka升级】-- 官方指导及注意事项

[大数据汇总]--spark、hadoop未来发展趋势解读

[点点滴滴]--一些话

[Impala基础]-- Impala SQL语言参考(初步了解，CDH5.7以上版本)

[Hadoop基础]-- web hdfs端口50075和httpfs端口14000的使用

[Spark版本升级]-- spark-2.2.0发行说明

[Python 基础]-- 实践抓取淘宝MM照片

[Java基础]-- 快速排序专栏