使用elasticsearch收集日志进行处理，时间久了，很老的数据就没用了或者用途不是很大，这个时候就要对过期数据进行清理.但是es5.0之后就不支持ttl,那怎么办呢? 1,请使用官方的工具elasticsearch-curator 2,使用delete-by-query方法删除特定时间范围的数据 第一种这里不再介绍了,直接看官网吧,主要说下第二种 语法格式如下: POST twitter/_
在java中跳出循环的时候,我们可以直接break就行了,但是在scala
今天带大家看一下Blink的UI的一些新功能,编译的过程这里就不说了,网上也有很多的教程,我们直接启动一个Blink的standalone的集群,然后进入他的UI页面,我先放几张截图,大家随意感受一下 首先给人的第一感觉就是界面做的很炫酷,比Flink的UI要丰富很多,不像Flink的UI那样简单,界面也很阿里风格,多了很多新的功能,然后我们直接提交一个job上去,选择正在运行的job,
使用elasticsearch收集日志进行处理，时间久了
今天带大家看一下Blink的UI的一些新功能,编译的
hbase本身没有提供修改表名的命令,那如果我们需要修改表名,
今天在查看 JVM 堆内存具体使用情况的时候,执行 jmap
2020 年度总结 2020 年是最特别的一年,也是最不平凡的一年,也是过的最快的一年,一场突如其来的疫情改变了很多人乃至整个社会的节奏,这一年来最大的改变就是出门戴口罩,几乎每天都在戴口罩,特别是夏天戴口罩是非常的难受.真怀念以前不用戴口罩的时候.希望疫情可以早点过去,回到不戴口罩的时候. 今年对于我来说也是事情最多的一年,大家可能会发现今年我的博客,知识星球,公众号都没怎么更新,主要是因为事情
高亮搜索:许多应用都倾向于在每个搜索结果中高亮显示搜索的
最近也是有人问我kafka的auto.offset.reset设置为earliest后怎么结
过完年来上班第一天打开xshell提示评估过期了,很是尴尬,搞了老半天才弄好,下面来分享一下我的解决过程: 大家严格按照下面的流程走就可以了,基本都可以成功(如果没成功,那一定是你的姿势不对) 1.我之前下载的是evaluation版本，是有期限的,换一个家庭版的,下载地址: https://www.netsarang.com/zh/xshell-download/ 然后大家按照下面的图片指示依次
今天有人问我Hbase的rowkey设计和预分区的问题,这篇文字就简单介绍一下.,关于Hbase的表的一些基本概念这里就不说了,直接说重点,尽可能说的简单一点,废话就不写了. 1.什么是Rowkey? 我们知道Hbase是一个分布式的、面向列的数据库，它和一般关系型数据库的最大区别是：HBase很适合于存储非结构化的数据，还有就是它基于列的而不是基于行的模式. Hbase是采用K,V存储的,那Ro
今天主要来说一下Hbase怎么批量删除数据,我们都知道Hbase是一个Nosql的分布式存储数据引擎,它可以支持千万级别的QPS写入,但是有时候我们需要批量的删除他的数据,今天就来介绍两种方法: 1.首先我们想到的就是TTL,TTL即Time To Live的缩写，顾名思义就是生存期的意思。TTL设置了一个基于时间戳的临界值， 内部的管理会自动检查TTL值是否达到上限，在major合并过程中时间戳
本节将介绍如何在 Spark on YARN 模式的集群上安装和配置 CarbonData。carbondata1.5.1的编译可以看上一篇版本:spark2.3.1,carbondata1.5.1前置条件Hadoop HDFS 和 Yarn 需要安装和运行。 Spark 需要在所有的集群节点上安装并且运行。 CarbonData 用户需要有权限访问 HDFS.以下步骤仅针对于 ...
LocationStrategies新的Kafka使用者API将预先获取消息到缓冲区。因此，出于性能原因，Spark集成将缓存的消费者保留在执行程序上（而不是为每个批处理重新创建它们），并且更喜欢在具有适当使用者的主机位置上安排分区，这一点很重要。在大多数情况下，您应该使用LocationStrategies.PreferConsistent，如上所示。这将在可用执行程序之间均匀分配分区。...
在实际的项目开发中,很多时候我们可能会用java和scala混合开发,比如Flink或者Spark的项目,他们两个可以相互调用,也有各自的优缺点,结合起来使用非常的方便,但是在编译打包的时候很多朋友遇到要么Java的包没打进去,或者Scala的包没打进去,运行的时候报各种找不到jar包的错,下面介绍一种打包的方法,可以运行项目里面的任何一个方法,供大家参考,当然还有很多其他的打包方式.直接看...
简单的总结一下冒泡排序的实现:package arithmetic;/** * @author JasonLee * @description java的冒泡排序算法 * 原理:比较两个相邻的元素,将值大的元素交换至右端 */public class BubblingSort { public static void main(String[] args) { ...
java二分查找算法的实现过程: package arithmetic; /** * @author JasonLee * @description java的二分查找(折半查找),前提是数组中的数据是有序的 * 思想:搜索过程从数组的中间元素开始，如果中间元素正好是要查找的元素，则搜索过程结束；如果某一特定元素大于或者小于中间元素， * 则在数组大于或小于中间元素的那一半中查找，而且
数组的反转原理跟冒泡排序有点像,都是通过交换位置,只不过数组的反转是交换第一个和最后一个的位置,第二个和倒数第二个的位置,冒泡排序是交互相邻两个的位置.下面看一下具体的代码实现 package test; /** * 数组的反转 */ public class TestDemo { public static void main(String[] args) { in
最近群里有人问我hive中文显示乱码的问题, 下面就来说一下,怎么设置. 创建表的时候，comment说明字段包含中文，表成功创建成功之后，desc的时候中文说明显示乱码.如下图所示: 我们知道hive的元数据是有mysql管理的,所以这是mysql的元数据的问题.下面我们就修改一下字符编码 （1）修改表字段注解和表注解 alter table COLUMNS_V2 modify column
在maven项目打包的时候报错,java.lang.StackOverflowError 解决方法在setting->maven->runner->VM Options中添加 -Xss4096k 如下图所示 再次点击打包就可以了,如果还是报错的话,可以尝试把这个值在增大一点.
直接看我的公众号吧不想在复制了:https://mp.weixin.qq.com/s/Rwz5uAI-TfnTBpppsMTfBg欢迎大家关注我的公众号:如果有写的不对的地方,欢迎大家指正,如果有什么疑问,可以加QQ群:340297350,更多的Flink和spark的干货可以加入下面的星球...
这个问题是最近一个朋友问我的,用sparkstreaming消费kafka的多个topic,怎么获取topic的信息,然后根据不同topic的数据做不同的逻辑处理.其实这个问题非常简单,...
很久没有更新了,因为最近一段时间有点小忙,最近也是有同学问我说自己在idea里面写spark程序测试,每次都要打包然后上传到集群,然后spark-submit提交很麻烦,可不可以在idea里面直接远程提交到yarn集群呢? 当然是可以的,今天就给大家分享一下具体的操作过程. 那先来说一下spark任务运行的几种模式: 1,本地模式,在idea里面写完代码直接运行. 2,standalone模式,需
1,下载地址: https://github.com/protocolbuffers/protobuf/releases 最好是下载-all的包,因为里面的依赖文件比较全,不然还需要下载各种依赖,可能会遇到各种报错,我这里下载的是3.11.2版本,自己根据情况下面对应的版本. 2,解压编译 1, tar -zxvf protobuf-all-3.11.2.tar.gz 2, ./configur
对于流计算程序来说,肯定会用到状态(state),假如状态不自动清除,并且随着作业运行的时间越来越久，就会累积越多越多的状态，就会影响任务的性能,为了有效的控制状态的大小,Flink从1...
直接看我的公众号https://mp.weixin.qq.com/s?__biz=Mzg3MDE0MjUzMA==&mid=2247483742&idx=1&sn=44f26e1772a2a2dd83312183fa7aef67&chksm=ce930673f9e48f65a2ba16f1fc31bd6e540cfc0e9203f423029fc2f0aff20...
Copyright © 2005-2024 51CTO.COM 版权所有 京ICP证060544号
