# cat filebeat.yml
转载 2019-11-13 20:52:00
121阅读
2评论
使用Adaptive Execution 动态设置Shuffle partition 可控制spark sql小文件问题 .config("spark.sql.adaptive.enabled", "true") // 开启sparksql Adaptive Execution 自动设置 Shuffle Reducer.config("spark.sql.adaptive.shuffle.targ
转载 2021-08-04 14:49:00
1323阅读
2评论
cat /data/tomcat/conf/server.xml <Valve className="org.apache.catalina.valves.AccessLogValve" directory="logs" prefix="localhost_access_log" suffix=".
原创 2021-07-27 16:25:55
160阅读
请注明出处:://blog..net/l102
原创 2022-04-22 17:42:27
546阅读
一、介绍Flume是一种分布式,可靠且可用的服务,用于有效地收集,聚合和移动大
转载请注明出处:http://blog.csdn.net/l1028386804/article/details/79136841一、概述本文基于《Kafka之——扩展logback将日志输出到Kafka实例》,请先阅读《Kafka之——扩展logback将日志输出到Kafka实例》。二、扩展《Kafka之——扩展logback将日志输出到Kafka实例》一文中,只能输出单个字
原创 2018-01-23 10:42:08
145阅读
请注明出处:://blog..net/l1028386804/
原创 2022-04-22 17:43:02
538阅读
sensor.txtsensor_1,1547718199,35.8sensor_6,1547718201,15.4sensor_7,1547718202,6.7sensor_10,1547718205,38.1sensor_1,1547718207,37.2sen
原创 10月前
268阅读
基于Spark通用计算平台,可以很好地扩展各种计算类型的应用,尤其是Spark提供了内建的计算库支持,像Spark Streaming、Spark SQL、MLlib、GraphX,这些内建库都提供了高级抽象,可以用非常简洁的代码实现复杂的计算逻辑、这也得益于Scala编程语言的简洁性。这里,我们基于1.3.0版本的Spark搭建了计算平台,实现基于Spark Streaming的实时计算。我们的
转载 2014-03-05 12:55:00
28阅读
注:multiline字段,必须每个日志类型一个,不然日志不会合并.(坑) 样例图: 参考
原创 2022-05-25 00:58:49
402阅读
输出到kafka参考文章https://www.elastic.co/guide/en/logstash/current/plugins-outputs-kafka.htm
问题将 print() 函数的输出重定向到一个文件中去。解决方案在 print() 函数中指定 filewith open('/Users/xz/test/1.txt', 'a+') as f: print('Hello World!', file=f)或带编码的: with open('C:\\Users\\abc\\Desktop\\saveOrUpdate.sql', 'a
Python3 输入和输出输出格式美化Python两种输出值的方式: 表达式语句和 print() 函数。第三种方式是使用文件对象的 write() 方法,标准输出文件可以用 sys.stdout 引用。如果你希望输出的形式更加多样,可以使用 str.format() 函数来格式化输出值。如果你希望将输出的值转成字符串,可以使用 repr() 或 str() 函数来实现。str(): 函
转载 14天前
29阅读
      fd = fileno(fp);         lockf(fd, F_LOCK, 0l);   ------------------------------     va_list ap;     va
ap
转载 精选 2012-07-06 16:46:35
518阅读
top_cmd_line=(top -H -b -d 0.5 -n 2)top_out=$(${top_cmd_line[@]})echo $top_out ...
转载 2020-05-09 14:31:00
366阅读
2评论
1,Filebeat简介 Filebeat是一个使用Go语言实现的轻量型日志采集器。在微服务体系中他与微服务部署在一起收集微服务产生的日志并推送到ELK。 在我们的架构设计中Kafka负责微服务和ELK的分离,Filebeat负责收集微服务的日志并推送到Kafka中,如图: 2,Filebeat安装
转载 2020-09-30 11:00:00
420阅读
Flume 与 Kakfa结合例子(Kakfa 作为flume 的sink 输出到 Kafka topic) 进行准备工作: 编辑 flume的配置文件: $ cat /home/tester/flafka/spooldir_kafka.conf # Name the components on t
转载 2017-10-23 20:43:00
112阅读
2评论
作为一个java新手,今天无意间看到一个javap命令,百度了一下才知道他可以查看编译后的.class文件,如果学过编译原理的同学们来说可能看起来会比较轻松,对于java的理解可能会更加深入。具体的命令可以参看前面的文章,这篇小短文的主要目的是说一下如何将反编译后的输出结果保存到指定文件中,1) 当然如果你觉得在dos黑框框中看也还好,那你可以忽略本文; 2) 你可以右击黑框框,然后全选
import logging logging.basicConfig(level=logging.DEBUG, format='%(asctime)s %(filename)s[line:%(lineno)d ] %(levelname)s %(message)s', #时间 文件名 line:行号 levelname logn内容
  • 1
  • 2
  • 3
  • 4
  • 5