mob604756e85b28的博客_原创

按发布时间
按阅读量
时间轴

全部2246篇
2021年692篇 11月36篇 10月83篇 09月120篇 08月124篇 07月89篇 06月22篇 05月8篇 04月106篇 03月75篇 02月7篇 01月22篇 2020年187篇 12月10篇 11月26篇 10月34篇 09月20篇 08月5篇 07月11篇 06月4篇 05月38篇 04月9篇 03月16篇 02月8篇 01月6篇 2019年153篇 12月9篇 11月9篇 10月18篇 09月9篇 08月11篇 07月11篇 06月11篇 05月14篇 04月10篇 03月7篇 02月21篇 01月23篇 2018年165篇 12月11篇 11月19篇 10月16篇 09月13篇 08月25篇 07月12篇 06月8篇 05月15篇 04月7篇 03月23篇 02月3篇 01月13篇 2017年291篇 12月11篇 11月26篇 10月14篇 09月50篇 08月25篇 07月48篇 06月24篇 05月20篇 04月12篇 03月31篇 02月23篇 01月7篇 2016年142篇 12月14篇 11月14篇 10月22篇 09月27篇 08月11篇 07月8篇 06月6篇 05月5篇 04月3篇 03月19篇 02月6篇 01月7篇 2015年78篇 12月20篇 11月5篇 10月4篇 09月11篇 08月10篇 07月12篇 06月2篇 05月3篇 04月4篇 03月2篇 02月4篇 01月1篇 2014年72篇 12月5篇 11月4篇 10月5篇 09月4篇 08月4篇 07月8篇 06月3篇 05月8篇 04月4篇 03月22篇 02月2篇 01月3篇 2013年138篇 12月3篇 11月1篇 10月25篇 09月25篇 08月31篇 07月31篇 06月1篇 05月6篇 04月5篇 03月3篇 02月5篇 01月2篇 2012年82篇 12月2篇 11月5篇 10月10篇 09月8篇 08月9篇 07月10篇 06月2篇 05月1篇 04月2篇 03月1篇 02月8篇 01月24篇 2011年134篇 12月19篇 11月29篇 10月18篇 09月6篇 08月7篇 07月14篇 06月7篇 05月21篇 04月2篇 03月9篇 02月1篇 01月1篇 2010年20篇 12月3篇 11月1篇 10月1篇 08月1篇 07月2篇 06月2篇 05月2篇 04月1篇 03月2篇 02月1篇 01月4篇 2009年43篇 12月3篇 11月1篇 10月1篇 09月9篇 08月2篇 07月16篇 06月9篇 04月1篇 02月1篇 2008年19篇 12月4篇 11月1篇 10月1篇 09月2篇 08月1篇 07月1篇 06月2篇 05月4篇 04月1篇 03月2篇 2007年23篇 12月5篇 11月11篇 10月1篇 09月1篇 08月1篇 06月1篇 05月1篇 03月1篇 01月1篇 2006年6篇 11月1篇 09月4篇 08月1篇 2005年1篇 11月1篇
推荐/精选
原创

全部原创转载翻译

大数据成神之路-Java高级特性增强(锁)

大数据成神之路-Java高级特性增强(锁)大数据技术与架构大数据技术与架构1Java中的锁分类在读很多并发文章中，会提及各种各样锁如公平锁，乐观锁等等，这篇文章介绍就是各种锁。介绍的内容如下：公平锁/非公平锁可重入锁独享锁/共享锁互斥锁/读写锁乐观锁/悲观锁分段锁偏向锁/轻量级锁/重量级锁自旋锁上面是很多锁的名词，这些分类并不是全是指锁的状态，有的指锁的特性，有的指锁的设计，下面总结的内容是对每个

Java

原创 2021-04-04 21:05:20 324 阅读

大数据成神之路-Java高级特性增强(多线程)

大数据成神之路-Java高级特性增强(多线程)大数据技术与架构大数据技术与架构1多线程进程和多线程简介进程和线程进程和线程的对比这一知识点由于过于基础，所以在面试中很少碰到，但是极有可能会在笔试题中碰到。常见的提问形式是这样的：“什么是线程和进程?，请简要描述线程与进程的关系、区别及优缺点？”。何为进程？进程是程序的一次执行过程，是系统运行程序的基本单位，因此进程是动态的。系统运行一个程序即是一个

Java

原创 2021-04-04 20:58:40 204 阅读

大数据成神之路-Java高级特性增强(ConcurrentSkipListMap)

大数据成神之路-Java高级特性增强(ConcurrentSkipListMap)大数据技术与架构大数据技术与架构导语本节课是Java.util.concurrent包中的ConcurrentSkipListMap类。1概要本章对Java.util.concurrent包中的ConcurrentSkipListMap类进行详细的介绍。内容包括：ConcurrentSkipListMap介绍Conc

Java

原创 2021-04-04 20:40:10 160 阅读

大数据成神之路-分布式理论基础和原理

大数据成神之路-分布式理论基础和原理王知无大数据技术与架构1分布式理论基础和原理关于分布式的基础理论，只看这几篇文章就够了，不用到处去翻了图片本部分内容包括：分布式系统的一些基本概念本文主要是简单的介绍了常见的概念，例如分布式系统设计理念，CAP定理，BASE理论，分布式事务，分布式锁，分布式系统中的session存储以及各种负载均衡算法的实现等，总体看来是关于分布式系统涵盖的主要内容。分布式系统

Java

原创 2021-04-04 20:33:48 375 阅读

大数据成神之路-分布式中的常见问题解决方案(分布式锁/事务/ID)

大数据成神之路-分布式中的常见问题解决方案(分布式锁/事务/ID)王知无大数据技术与架构1分布式中的常见问题解决方案本文是关于分布式系统中最常见的三种问题本部分内容包括：分布式锁的解决方案业务逻辑日趋复杂，在这种背景下，传统的集中式系统已经无法满足我们的业务需求，分布式系统被应用在更多的场景，而在分布式系统中访问共享资源就需要一种互斥机制，来防止彼此之间的互相干扰，以保证一致性，在这种情况下，我们

Java

原创 2021-04-04 20:31:52 242 阅读

大数据成神之路-RPC

大数据成神之路-RPC王知无大数据技术与架构1RPC简单介绍RPC（RemoteProcedureCallProtocol）—远程过程调用协议，它是一种通过网络从远程计算机程序上请求服务，而不需要了解底层网络技术的协议。RPC协议假定某些传输协议的存在，如TCP或UDP，为通信程序之间携带信息数据。在OSI网络通信模型中，RPC跨越了传输层和应用层。RPC使得开发包括网络分布式多程序在内的应用程序

Java

原创 2021-04-04 20:29:56 265 阅读

Flink集群部署

Flink集群部署王知无大数据技术与架构1部署方式一般来讲有三种方式：LocalStandaloneFlinkOnYarn/Mesos/K8s…2Standalone部署上一节我们讲了单机模式如何部署启动，这节我们基于CentOS7虚拟机搭建一个3个节点的集群：角色分配：Master:192.168.246.134Slave:192.168.246.135Slave:192.168.246.136

Java

原创 2021-04-04 20:23:49 730 阅读

Flink从入门到放弃-Flink重启策略

Flink从入门到放弃-Flink重启策略王知无大数据技术与架构大数据成神之路：点我去成神之路系列目录^_^Flink入门FlinkDataSet&DataSteamAPIFlink集群部署1概述Flink支持不同的重启策略，以在故障发生时控制作业如何重启集群在启动时会伴随一个默认的重启策略，在没有定义具体重启策略时会使用该默认策略。如果在工作提交时指定了一个重启策略，该策略会覆盖集群的默

Java

原创 2021-04-04 20:17:21 769 阅读

8-Flink中的窗口

8-Flink中的窗口王知无大数据技术与架构1窗口类型flink支持两种划分窗口的方式（time和count）如果根据时间划分窗口，那么它就是一个time-window如果根据数据划分窗口，那么它就是一个count-windowflink支持窗口的两个重要属性（size和interval）如果size=interval,那么就会形成tumbling-window(无重叠数据)如果size>i

Java

原创 2021-04-04 20:14:14 192 阅读

13-Flink-Kafka-Connector

13-Flink-Kafka-Connector王知无大数据技术与架构1简介Flink-kafka-connector用来做什么？Kafka中的partition机制和Flink的并行度机制结合，实现数据恢复Kafka可以作为Flink的source和sink任务失败，通过设置kafka的offset来恢复应用2Kafka简单介绍关于kafka，我们会有专题文章介绍，这里简单介绍几个必须知道的概念

Java

原创 2021-04-04 20:12:20 414 阅读

12-Broadcast广播变量

12-Broadcast广播变量王知无大数据技术与架构1广播变量简介在Flink中，同一个算子可能存在若干个不同的并行实例，计算过程可能不在同一个Slot中进行，不同算子之间更是如此，因此不同算子的计算数据之间不能像Java数组之间一样互相访问，而广播变量Broadcast便是解决这种情况的。我们可以把广播变量理解为是一个公共的共享变量，我们可以把一个dataset数据集广播出去，然后不同的tas

Java

原创 2021-04-04 20:08:45 246 阅读

14-Flink之Table-&-SQL

14-Flink之Table-&-SQL王知无大数据技术与架构1简介ApacheFlink具有两个关系API-表API和SQL-用于统一流和批处理。TableAPI是Scala和Java的语言集成查询API，允许以非常直观的方式组合来自关系运算符的查询，TableAPI和SQL接口彼此紧密集成，以及Flink的DataStream和DataSetAPI。您可以轻松地在基于API构建的所有A

Java

原创 2021-04-04 20:07:12 113 阅读

15-Flink实战项目之实时热销排行

Java

原创 2021-04-04 20:04:07 326 阅读

16-Flink-Redis-Sink

16-Flink-Redis-Sink王知无大数据技术与架构1简介流式计算中，我们经常有一些场景是消费Kafka数据，进行处理，然后存储到其他的数据库或者缓存或者重新发送回其他的消息队列中。本文讲述一个简单的Redis作为Sink的案例。后续，我们会补充完善，比如落入Hbase，Kafka，Mysql等2关于RedisSinkFlink提供了封装好的写入Redis的包给我们用，首先我们要新增一个依

Java

原创 2021-04-04 20:01:48 469 阅读

17-Flink消费Kafka写入Mysql

17-Flink消费Kafka写入Mysql王知无大数据技术与架构本文介绍消费Kafka的消息实时写入Mysql1.maven新增依赖：<dependency><groupId>mysql</groupId><artifactId>mysql-connector-java</artifactId><version>5.1.39

Java

原创 2021-04-04 20:00:32 515 阅读

Scala之旅-简介篇

Scala之旅-简介篇王知无大数据技术与架构欢迎来到Scala之旅本次Scala之旅教程包含了对于大多数Scala特性的简单介绍。主要针对Scala这门语言的初学者。这是个简化的教程，主要是为后期学习Spark打基础。Scala是什么？Scala是一门现代的多范式语言，志在以简洁、优雅及类型安全的方式来表达常用的编程模型。它平滑地集成了面向对象和函数式语言的特性。Scala是面向对象的鉴于一切值都

Java

原创 2021-04-04 19:59:09 262 阅读

作为面试官的一点点感悟，谈谈技术人的成长之路

作为面试官的一点点感悟，谈谈技术人的成长之路群主王知无大数据技术与架构因为工作上的原因，做过几次面试官，面试的同学有应届生，也有工作3-5年的老技术人。最近也频繁作为面试官帮助筛选候选人，中间有很多值得深思的东西，我记录了下来分享给大家。以下观点仅为个人观点，不代表任何公司的立场。01面试不是简单的你问我答一般来讲，作为面试官和候选人进行沟通的第一个问题是一般是自我介绍，整个自我介绍的情况应该控制

Java

原创 2021-04-04 19:56:54 119 阅读

成年人的世界没有容易二字

成年人的世界没有容易二字群主王知无大数据技术与架构今天中午的时候，我看到我们的群里有人发了一个杭州小伙因为逆行被交警拦截的视频，在这期间，小伙子接了一个电话。没想到的是，他还没有打完电话，就把手机甩到了地上，随即崩溃大哭。我看到视频里那个朋友情绪激动，大声喊道我每天加班到十一点，十二点，这边女朋友忘记带钥匙回家，那边公司还在催他，他真觉得好累...就那么一瞬间，我觉得这个情形就像曾经发生在我身上的

Java

原创 2021-04-04 19:55:04 185 阅读

我最近在关注的事

我最近在关注的事群主王知无大数据技术与架构我最近在关注的事：马老师在内网直播谈了关于加班的问题引起轩然大波中国《2019年新型城镇化建设重点任务》发布杭州开放了户籍准入制度，大专2年社保可落户昨天晚上吃完饭整理了一下最近发生的几个事情，目的很简单，我在闲下来的时间做的最多的事情是思考，回看了最近圈内和社会上比较热点的几个问题，结合自己的过去的一些经历随便说几句。第一件事最近的几周内，关于加班996

Java

原创 2021-04-04 19:51:44 197 阅读

面试必备技能-HiveSQL优化

面试必备技能-HiveSQL优化王知无大数据技术与架构HiveSQL基本上适用大数据领域离线数据处理的大部分场景。HiveSQL的优化也是我们必须掌握的技能，而且，面试一定会问。那么，我希望面试者能答出其中的80%优化点，在这个问题上才算过关。Hive优化目标在有限的资源下，执行效率更高常见问题数据倾斜map数设置reduce数设置其他*Hive执行HQL-->Job-->Map/Re

Java

原创 2021-04-04 19:49:20 209 阅读

FlinkSQL中的回退更新-Retraction

FlinkSQL中的回退更新-Retraction群主王知无大数据技术与架构前言如果你在使用FlinkSQL时出现如下的报错：Tableisnotanappend-onlytable.UsethetoRetractStream()inordertohandleaddandretractmessages.那么你就有必要了解一下Flink中的回退更新。简介通俗的讲"回退更新"就是传

Java

原创 2021-04-04 19:36:24 854 阅读

Flink1.8.0重大更新-Flink中State的自动清除详解

Java

原创 2021-04-04 19:31:20 371 阅读

Flink 最锋利的武器：Flink SQL 入门和实战

Flink最锋利的武器：FlinkSQL入门和实战群主王知无大数据技术与架构一、FlinkSQL背景FlinkSQL是Flink实时计算为简化计算模型，降低用户使用实时计算门槛而设计的一套符合标准SQL语义的开发语言。自2015年开始，阿里巴巴开始调研开源流计算引擎，最终决定基于Flink打造新一代计算引擎，针对Flink存在的不足进行优化和改进，并且在2019年初将最终代码开源，也就是我们熟知的

Java

原创 2021-04-04 19:28:46 411 阅读

昨天面试别人说他熟悉Flink，结果我问了他Flink是如何实现exactly-once语义的？

昨天面试别人说他熟悉Flink，结果我问了他Flink是如何实现exactly-once语义的？王尼玛大数据技术与架构Flink跟其他的流计算引擎相比,最突出或者做的最好的就是状态的管理.什么是状态呢?比如我们在平时的开发中,需要对数据进行count,sum,max等操作,这些中间的结果(即是状态)是需要保存的,因为要不断的更新,这些值或者变量就可以理解为是一种状态,拿读取kafka为例,我们需要

Java

原创 2021-04-04 19:00:38 304 阅读

Spark将Dataframe数据写入Hive分区表的方案

Spark将Dataframe数据写入Hive分区表的方案达微大数据技术与架构DataFrame将数据写入hive中时，默认的是hive默认数据库,insertinto没有指定数据库的参数，数据写入hive表或者hive表分区中：1、将DataFrame数据写入到hive表中从DataFrame类中可以看到与hive表有关的写入API有一下几个：registerTempTable(tableNam

Java

原创 2021-04-04 18:18:36 1012 阅读

Flink UDF自动注册实践

FlinkUDF自动注册实践林夕_Yume大数据技术与架构日前，在更新UDF函数这块的一些功能时，发现一些较为细小但大家都会遇到的问题，作为趟过的坑发出来，希望大家能够避免。1.注册UDF函数1.1注册相关方法此处，我们使用的udf函数为标量函数，它继承的是ScalarFunction，该类在我们的使用中，发现它继承自UserDefinedFunction这个类，该处的udf函数由用户自己定义，而

ava

原创 2021-04-04 18:16:36 444 阅读

Redis单线程？别逗了，Redis6.0多线程重磅来袭！

Redis单线程？别逗了，Redis6.0多线程重磅来袭！王知无大数据技术与架构2019年的RedisConf比以往时候来的更早一些，今年会议时间是4月1-3号，仍然是在旧金山鱼人码头Pier27。恰逢今年是Redis第10周年，规模也比以往大一些，注册人数超过1600人，总共有80个议题，除了RedisLabs外还有很多云厂商和Redis用户带来分享。Redis作者antirez在RedisCo

Java

原创 2021-04-04 18:11:53 318 阅读

一个细节 | Java中asList的缺陷

一个细节|Java中asList的缺陷拾荒者的笔记大数据技术与架构今天在项目中的一段代码用了asList方法，出现了问题。作者于是仔细查看了asList的源码，在实际项目中避免出现错误的使用方式。希望对大家有帮助。在实际开发过程中我们经常使用asList讲数组转换为List，这个方法使用起来非常方便，但是asList方法存在几个缺陷：一、避免使用基本数据类型数组转换为列表使用8个基本类型数组转换为

Java

原创 2021-04-04 18:09:35 269 阅读

一个细节 | Java中asList的缺陷

Java

原创 2021-04-04 18:09:28 274 阅读

欢迎

首页
1
2
3
4
5
6
共158条记录

官方博客	全部文章	热门标签	班级博客
了解我们	网站地图	意见反馈

鸿蒙开发者社区	51CTO学堂
51CTO	软考资讯

51CTO博客

mob604756e85b28的博客

大数据成神之路-Java高级特性增强(锁)

大数据成神之路-Java高级特性增强(多线程)

大数据成神之路-Java高级特性增强(ConcurrentSkipListMap)

大数据成神之路-分布式理论基础和原理

大数据成神之路-分布式中的常见问题解决方案(分布式锁/事务/ID)

大数据成神之路-RPC

Flink集群部署

Flink从入门到放弃-Flink重启策略

8-Flink中的窗口

13-Flink-Kafka-Connector

12-Broadcast广播变量

14-Flink之Table-&-SQL

15-Flink实战项目之实时热销排行

16-Flink-Redis-Sink

17-Flink消费Kafka写入Mysql

Scala之旅-简介篇

作为面试官的一点点感悟，谈谈技术人的成长之路

成年人的世界没有容易二字

我最近在关注的事

面试必备技能-HiveSQL优化

FlinkSQL中的回退更新-Retraction

最近的总结

Flink1.8.0重大更新-Flink中State的自动清除详解

Flink 最锋利的武器：Flink SQL 入门和实战

昨天面试别人说他熟悉Flink，结果我问了他Flink是如何实现exactly-once语义的？

Spark将Dataframe数据写入Hive分区表的方案

Flink UDF自动注册实践

Redis单线程？别逗了，Redis6.0多线程重磅来袭！

一个细节 | Java中asList的缺陷

一个细节 | Java中asList的缺陷

欢迎