51CTO首页
AI.x社区
博客
学堂
精品班
软考社区
免费课
企业培训
鸿蒙开发者社区
WOT技术大会
IT证书
公众号矩阵
移动端
短视频 免费课程 课程排行 直播课 软考学堂
全部课程 厂商认证 IT技术 24年11月软考 PMP项目管理 免费题库
在线学习
文章 资源 问答 课堂 专栏 直播
51CTO
鸿蒙开发者社区
51CTO技术栈
51CTO官微
51CTO学堂
51CTO博客
CTO训练营
鸿蒙开发者社区订阅号
51CTO软考
51CTO学堂APP
51CTO学堂企业版APP
鸿蒙开发者社区视频号
51CTO软考题库

常用的action算子

常用的action算子

算子
action
原创 2018-12-29 17:40:15 1873 阅读 1点赞

Spark常用的action算子

spark常用的action算子

算子
action
原创 2018-12-29 17:38:38 5201 阅读 1点赞

Spark的transformation和action算子简介

Spark的ransformation和action算子简介

算子
transformation
action
原创 2018-12-29 17:36:31 1835 阅读 1点赞

Spark常用的transformation算子

Spark常用的transformation算子

spark
transformation
算子
原创 2018-12-21 17:54:22 2024 阅读 1点赞

Quartz集群实战与原理分析

Quartza如何做集群？集群又是如何保证同一时间一个任务只会被执行一次呢？且看……

quartz
springboot
集群
原创 精选 2018-11-08 16:35:08 10000+阅读 2点赞 1收藏 3评论

大数据分布式平台Hadoop2.7.7 + Spark2.2.2搭建

Hadoop2.7.7 + Spark2.2.2分布式搭建过程，手把手教你玩！

spark
hadoop
原创 精选 2018-11-02 16:37:37 7327 阅读 2点赞 1收藏 1评论

SparkStreaming消费kafka数据

本例子为SparkStreaming消费kafka消息的例子，实现的功能是将数据实时的进行抽取、过滤、转换，然后存储到HDFS中,并手动在kafka中更新offset！

SparkStreaming
kafka
原创 2018-10-31 17:05:04 10000+阅读 3点赞 1收藏 8评论

SparkStreaming获取kafka数据的两种方式：Receiver与Direct的方式

目录ReceiverDirectDirect代码 简单理解为：Receiver方式是通过zookeeper来连接kafka队列，Direct方式是直接连接到kafka的节点上获取数据回到顶部Receiver使用Kafka的高层次Consumer API来实现。receiver从Kafka中获取的数据都存储在Spark Executor的内存中，然后Spark Streaming启动的jo

spark
kafka
转载 2018-10-31 16:49:38 1748 阅读 1点赞

SparkStreaming 中管理 Kafka Offsets 的几种方式

Spark Streaming集成了Kafka允许用户从Kafka中读取一个或者多个topic的数据。一个Kafka topic包含多个存储消息的分区(partition)。每个分区中的消息是顺序存储，并且用offset(可以认为是位置)来标记消息。Offset管理概述Spark Streaming集成了Kafka允许用户从Kafka中读取一个或者多个topic的数据。一个Kafka t

sparkstreaming
kafka
offset
转载 2018-10-31 16:46:36 3831 阅读 1点赞

Nginx整合Kafka

nginx-kafka-module是nginx的一个插件，可以将kafka整合到nginx中，便于……

nignx
kafaka
原创 精选 2018-10-23 17:11:11 10000+阅读 1点赞 3收藏 1评论

Flume自定义Source

模拟编写了一个Flume1.7中TAILDIR的功能实现，通过手动控制文件的读取位置来达到对文件的读写，防止flume挂了之后重复消费的情况。以下是代码实现，仅做参考，生产上直接用TAILDIR读取文件内容即可，若要读取一个目录下的子目录，可使用github上以实现的这个项目包：https://github.com/qwurey/flume-source-taildir-recursivepack

大数据
flume
自定义source
原创 2018-10-23 16:14:06 3377 阅读 1点赞

mysql information_schema介绍

mysql元数据信息介绍

mysql
元数据
转载 2018-08-30 17:47:03 3094 阅读 1点赞 1收藏

Hive 元数据表结构详解

hive元数据表结构介绍

hive
元数据
转载 2018-08-30 16:23:41 2975 阅读 1点赞

MapReduce编写wordcount程序代码实现

以wordcount为例，编写mapreduce程序。

hadoop
mapreduce
原创 2018-08-01 16:03:57 6680 阅读 2点赞

Shell中通过机器人发送钉钉群消息

shell发送钉钉群消息

shell
钉钉群
消息
原创 2018-07-09 23:22:23 9662 阅读 2点赞 1收藏

Spring注解@Async和@Transactional失效问题究竟是什么原因，强势解释一波

原文作者：弥诺R原文地址：http://www.minuor.com/1524750647/article转载声明：转载请注明原文地址，注意版权维护，谢谢！提前说说项目中涉及到的代码我都会上传到码云(gitee)或者github上，提供给大家下载参考，文中就以最简单的方式说明执行过程。源码的地址在文末哦！问题场景重现场景一：Spring的异步执行注解@Async，在调用这个方法的时候发现，不对劲，

@Async
Transactional
转载 2018-04-28 11:32:29 10000+阅读 2点赞

项目上线，旧数据需要修改,写SQL太麻烦,看Excel配合简单SQL的强大功能

原文作者：弥诺R原文地址：http://www.minuor.com/1523882302/article转载声明：转载请注明原文地址，注意版权维护，谢谢！实际场景A项目前期上线后有两张表，第一张表里面有订单的基本信息(重点：没有订单完成时间)，第二张表记录订单的流程节点信息，如买车这个订单，走的流程节点有交定金、交首付、贷款申请、贷款审批……取车，每个节点都有开始时间和完成时间记录，当所有节点都

Excel
SQL
转载 2018-04-24 15:16:18 1840 阅读 1点赞

Spring AOP+反射实现自定义动态配置校验规则，让校验规则飞起来

原文作者：弥诺R原文地址：http://www.minuor.com/1524369999/article转载声明：转载请注明原文地址，注意版权维护，谢谢！场景小计之前项目都是使用hibernate-validator来校验参数，但是实际上会出现一些小问题，就是校验规则都是通过注解的方式来完成，这样如果项目上线了，这个参数校验规则就没办法修改，如果出现校验规则问题，就必须修改后重新紧急上线(之前因

Spring AOP
Spring
转载 2018-04-24 15:14:33 2797 阅读 1点赞

Copyright © 2005-2024 51CTO.COM 版权所有 京ICP证060544号

关于我们
官方博客 全部文章 热门标签 班级博客
了解我们 网站地图 意见反馈
友情链接
鸿蒙开发者社区 51CTO学堂
51CTO 软考资讯