马鹏飞的博客_Java,python,其他大数据,Go语言,安全技术,linux,windows,Python

prometheus+ Grafana监控全家桶

普罗米修斯监控es

prometheus

prometheus flink

prometheus kafka

置顶原创推荐 2021-05-13 10:04:17 5523 阅读 2评论

线上服务器too many open files 问题排查记录

问题起因周末在家瘫着突然接到反馈网站访问打开直接500错误，然后上去排查，发现很多服务启动不了，手动起服务提示too many open files，这句提示的原因是程序打开的文件/socket连接数量超过系统设定值。登录服务器第一件事,先看下当前机器文件打开的最大限制(open files这行)我这里是65535说明已经改过了,默认是1024[root@10-23-52-95 rsyslog]#

文件描述符

连接数

服务器

too many open files

too many open

置顶原创精选 2021-12-13 09:57:21 2134 阅读

Splunk入门体验

放一段介绍，Splunk是一款功能强大，功能强大且完全集成的软件，用于实时企业日志管理，可收集，存储，搜索，诊断和报告任何日志和机器生成的数据，包括结构化，非结构化和复杂的多行应用程序日志。它允许您以可重复的方式快速，可重复地收集，存储，索引，搜索，关联，可视化，分析和报告任何日志数据或机器生成的数据，以识别和解决操作和安全问题。此外，splunk还支持各种日志管理用例，例如日志整合和保留，安

数据

linux

splunk

日志分析

SIEM

置顶原创精选 9月前 631 阅读

Flink TaskManager OutOfMemoryError: Metaspace 处理记录

一个很有意思的Flink任务异常处理记录一、环境信息Flink1.12Standalone模式,单台机器,由于客户环境基本很长时间会看不到运行状态二、问题现象现场同事反馈设备在客户现场运行了一段时间后FlinkJob全挂,在FlinkDashBoard上所有的Job都看不到了,TaskManager已经挂掉了,但TaskManager进程还在,手动重启taskmanager服务后恢复正常三、问题排

flink

重启

jar文件

置顶原创推荐 9月前 1348 阅读

使用CDH调整yarn的内存和CPU资源大小

1、登录CDH后选择YARN 2、更改CPU 在yarn配置页面，搜索在类别->资源管理中找到【容器虚拟 CPU 内核】或者直接搜索 yarn.nodemanager.resource.cpu-vcores 这里改的是单个服务器可以用的CPU的核心数，假设有3台服务器，每台这里设置32那总的yarn集群可用的cpu数就是 32*3=96C，这个效果 3、更改内存在yarn配置页面，

搜索

调度队列

配置文件

原创 1月前 101 阅读

es写入时报TransportError(413, '')

问题现象：写入时单条或一批次的总数据大小http.max_content_length: 1024mb超过es限制就会报以下错误解决：修改es配置文件 elasticsearch.yml增加max_content_length，具体大小看实际环境需求，越大性能越差 http.max_content_length: 1024mb File "/opt/python3.8/site

elasticsearch

python

配置文件

原创 1月前 59 阅读

python3 安装clickhouse_sqlalchemy(greenlet) 失败

环境信息： centos7操作系统，python3.8 执行pip3 install clickhouse_sqlalchemy或者pip3 install greenlet报以下报错： Command "/opt/python3.6.10-customized/bin/python3.6 -u -c "import setuptools, tokenize;file='/tm

linux

python

sqlalchemy

greenlet

原创 1月前 129 阅读

Spring Boot 各种请求与静态资源记录

SpringBoot中各种请求处理记录PathVariable获取路径中的参数这里的pv是指拿到所有的请求参数java@GetMapping("/car/{id}/owner/{username}")publicMap<String,ObjectgetCar(@PathVariable("id")Integerid,@PathVariable("username")Stringusername,@

java

mvc

spring

spring boot

原创精选 2022-05-04 10:10:17 720 阅读

centos8 部署mariadb备忘

安装mysqlyuminstallmariadbservery启动root@localhostsystemctlstartmariadbroot@localhostsystemctlenablemariadb开机启动初始化安全配置1.设置root密码2.移除匿名用户3.是否拒绝root远程登录4.删除测试数据库root@localhostmysql_secure_installationNOTE:

mysql

oracle

root密码

原创 2022-04-07 07:46:07 270 阅读

zookeeper最新版部署测试

环境准备zookeeper依赖于java,所以先安装java,可以参考:https://blog.51cto.com/mapengfei/5166517安装zookeeper我这里选择最新版是3.8.0,在这个页面中找到最新的zookeeper版本https://zookeeper.apache.org/releases.htmldownloadroot@kafka1:cd/optroot@kaf

zookeeper

apache

kafka

zookeeper部署

原创 2022-04-07 07:00:49 905 阅读

java 环境常用安装命令记录

java11安装:yuminstalljava11openjdkdeveljava8安装:yuminstalljava1.8.0openjdkdevel安装完成之后可以使用javaversion来验证如果装了2个版本的java,可以使用alternatives命令进行切换:root@localhostalternativesconfigjava共有2个提供“java”的程序。选项命令+1java1

java

原创 2022-03-31 15:57:03 364 阅读

Flink on yarn 环境从0-1

1.环境信息root@kafka2cat/etc/hosts10.0.83.71kafka1node110.0.83.72kafka2node210.0.83.73kafka3node3JobManager:10.0.83.71TaskManager:10.0.83.72/10.0.83.73java版本我代码中后来用的是java11+flink1.14,如果想用java8那就代码中java的依赖

kafka

flink

java

原创 2022-03-22 10:02:56 601 阅读

YARN && Hadoop 集群环境准备

准备搞一个Flink集群计算环境,顺手记一下过程,Flink和Spark一样有三种部署模式，分别是Local,StandaloneCluster和YarnCluster。本文主要是介绍在YarnCluster模式下的环境搭建,最终先跑一个简单的计算文件中单词出现次数的demo,证明YARN集群是没问题可以用的先放一段网上关于YARN的介绍:YARN是资源调度框架、通用的资源管理系统，可以为上层应用

hadoop

kafka

hdfs

java

yarn

原创精选 2021-12-10 09:20:58 2131 阅读

KAFKA最新版 3.0.0集群部署测试

关于kafka的信息可以参考官方文档：https://kafka.apache.org/documentation/（如果英文不好直接右击翻译成中文就可以，比看网上一堆文章都强）环境信息：IP角色10.0.83.71zookeeper、kafka10.0.83.72zookeeper、kafka10.0.83.73zookeeper、kafka先把主机名改掉，分别到3台机器上改自己的：hostna

kafka

zookeeper

java

客户端

服务器

原创精选 2021-12-06 10:51:18 4486 阅读 1点赞 1收藏

记录spring boot 启动卡住的问题

现象：项目开发着拉了个代码发现启动的时候就卡在mybatis plus 加载的地方了，然后各种排查无果原因：最终意外发现，用debug模式会卡住，直接运行没问题，然后估计是debug问题最终查到原因是由于项目中过多的debug或者有关键路径的debug导致，解决办法：在debug启动过程中，选择左边view Breakpoints 可以看到所有的debug断点，然后全去掉，再启动就解决了。。

spring boot 卡住

原创精选 2021-10-01 22:56:06 5000 阅读

Apache Metron从入门到落灰

之前在安全方面有大数据处理方面需求，所以调研了几款处理引擎框架，就看到ApacheMetron了，结果发现网上没几个文章写这个的。。。。其中涉及到的组件会比较多，有部署软件用的Ambari(也可以用cdh）、zookeeper、Storm、HADOOP、KAFKA和数据处理的Nifi先贴一些看下来总结的流程Metron数据处理流程!image.png(https://s2.51cto.com/im

metron

nifi

storm

kafka

原创推荐 2021-08-06 09:43:19 3602 阅读

开发规范分享

最近要准备新同事的开发规范培训，所以大概理了理开发过程中总结的一些注意点和规范,有git管理、代码编写和API设计原则这3个方面 # git分支开发管理 ## Git三大特色之Branch(分支) ``` 主分支： master： origin/master 分支上的最新代码永远是版本发布状态(这个分支只能从其他分支合并，不能在这个分支直接修改)。 develop：origin／de

git分支管理

git规范

api设计

api设计规范

代码开发规范

原创推荐 2021-06-09 21:14:35 1003 阅读 2点赞

线上mysql的binlog导致磁盘暴增的排查记录

事情由来：一大早突然收到zabbix告警，说磁盘就剩不到15了，赶紧上去瞅瞅什么情况排查过程1、df-ah看看确认是/data目录占用91%了已经2、找到具体/data下的哪个目录用的，最终定位到是mysql的binlog占用，这很明显是binlog写的太多导致的了，ps，这里排查过程那个图忘了截了，可以用du-ah-d1看具体某个目录下的所有子目录的占用大小-d是代表层级关系，一级一级敲下来就找

binlog暴增

binlog有好多

减少binlog

原创精选 2021-03-29 09:20:33 2913 阅读

Flink实战-订单支付和对账情况监控（分别使用CEP和ProcessFunction来实现）

在电商网站中，订单的支付作为直接与钱挂钩的一环，在业务流程中非常重要。对于订单而言，为了正确控制业务流程，也为了增加用户的支付意愿，网站一般会设置一个支付失效时间，超过一段时间没支付的订单就会被取消。另外，对于订单的支付，还应该保证最终支付的正确性，可以通过第三方支付平台的交易数据来做一个实时对账第一个实现的效果，实时获取订单数据，分析订单的支付情况，分别实时统计支付成功的和15分钟后支付超时的情

flink双流join

flink合流

flink订单监控

flink对账

flink实时

原创精选 2021-01-31 21:47:08 5491 阅读 1点赞 1收藏

Flink实战-恶意登录行为检测-CEP

FlinkCEP是在Flink上层实现的复杂事件处理库。它可以让你在无限事件流中检测出特定的事件模型，有机会掌握数据中重要的那部分。官网文档：https://ci.apache.org/projects/flink/flink-docs-stable/zh/dev/libs/cep.html这里给个demo，对比下不用cep和用cep的区别，实现目标：从目标csv中读取模拟登录的数据，实时检测，如

flink cep

flink检测恶意登录行为

检测恶意

原创精选 2021-01-25 09:14:59 5396 阅读

Flink实战-页面广告分析，并实时检测恶意点击行为

网站一般都需要根据广告点击量来制定对应的定价策略和调整市场推广的方式，一般也会收集用户的一些偏好和其他信息，这里实现一个统计不同省份/或者市用户对不同广告的点击情况，有助于市场部对于广告的更精准投放，并且要防止有人恶意点击，不停的点同一个广告（当然同一个ip一直点不同的广告也是一样）准备的日志文件ClickLog.csv:543462,1715,beijing,beijing,1512652431

flink

flink点击

flink广告点击

flink检测恶意

flink检测恶意点击

原创精选 2021-01-24 16:56:41 1628 阅读

Flink实战，APP推广情况分析

接着https://blog.51cto.com/mapengfei/2581240这里用Flink来实现对APP在每个渠道的推广情况包括下载、查看、卸载等等行为的分析因为之前的文章都是用scala写的，这篇用java来实现一波，分别演示下用aggregate聚合方式和process方式的实现和效果整体思路1、准备好数据源：这里用SimulatedSource来自己随机造一批数据2、准备数据输入样

flink APP统计

flink java

原创推荐 2021-01-10 21:13:17 4716 阅读

Flink实战，实时流量统计 TOPN访问URL

跟https://blog.51cto.com/mapengfei/2580330类似场景，来从Nginx、Apache等web服务器的日志中读取数据，实时统计出来访问热度最高的TOPN访问URL，并且要确保数据乱序的处理，lag等情况下，还要确认数据的准确性目标：从log文件中读取数据（也可以参考上一篇从kakfa中），取http的method为get的请求，并且把静态文件访问过滤掉，进行实时统

flink统计热门url

实时流量统计

原创推荐 2021-01-03 17:09:18 7573 阅读 3点赞 1收藏

Flink实战-实时读取日志文件和kafka，持续统计TOP10热门商品

从日志中读取数据做一些统计聚合，最终把想要的数据输出，基本是每个公司都会有的场景，比如用户分析，商品分析，实时大屏等等，我们最早的做法是全部读出来，写到redis或者es去，然后web端再去实时查询统计，其实有很多的弊端要么每次请求都会去重新算一遍耗性能不说还慢的不行，业务方接受不了或者直接把统计信息存进去，但要实时统计就比较麻烦，比如1小时存一个点，那业务方可能要的是当前10:05-11:05的

flink统计日志

flink大屏

flink实时统计

原创精选 2021-01-01 23:23:20 6096 阅读

Flink从入门到真香(22、基础最后一篇，各种UDF函数)

FlinkTableAPI和SQL提供了一批用于数据转换的内置函数SQL中支持很多的函数，TableAPI和SQL都已经做了实现，基本常用的都已经全覆盖，一般情况可以不用自己写方法，像sql里面比较用的：=，<>，>，>=，<=，is，isnot，BETWEEN，EXISTS，IN等等这种操作符基本都覆盖，逻辑类的：or，and，isFALSE计算类的：+，-，，/，

UDF函数

flink

flink内置udf函数

flink自定义udf

flink udf函数类型

原创精选 2020-12-25 09:31:15 10000+阅读 1收藏

Flink从入门到真香(21、Table转换DataStream及窗口)

表可以转换为DataStream或DataSet,这样自定义流处理或批处理程序就可以继续在TableAPI或SQL查询的结果上运行了将表转换为DataStream或DataSet时，需要指定生成的数据类型，即要将表的每一行转换成的数据类型表作为流式查询的结果，是动态更新的转换有两种转换模式：追加（Appende）模式和撤回（Retract）模式查看执行计划TableAPI提供了一种机制来解释计算表

flink窗口

窗口

table api

flink

原创精选 2020-12-24 13:45:19 6213 阅读

Flink从入门到真香(20、使用flink table api 输出到mysql和es)

接着https://blog.51cto.com/mapengfei/2554700输出到kafka和文件,这2种都是只支持追加模式,那要实现撤回模式（Retract）和更新插入模式（upsert）,大部分场景是在操作数据库中,像mysql,es,mongo等,这里实现下输入到mysql和es再贴一下集中模式的区别:追加模式（Append）--文件系统只支持追加模式表只做插入操作，和外部连接器只交

flink输出mysql

flink写mysql

flink写es

flink输出es

原创精选 2020-12-16 23:14:55 5791 阅读

Flink从入门到真香(19、使用flink table api 输出到文件和kafka)

对于流式查询，需要声明如何在表和外部连接器之间进行转换与外部系统交换的消息类型，由更新模式（updatemodel）指定,下面3种，能使用那种模式取决于输出的目标，比如如果输出到文件你就没法用更新和撤回模式，因为不知道，只能追加，但是如果换成mysql就都可以用追加模式（Append）--文件系统只支持追加模式表只做插入操作，和外部连接器只交换插入（insert）消息撤回模式（Retract）--

flink写文件

flink写kafka

原创 2020-11-25 22:26:50 2651 阅读

Flink从入门到真香(18、使用flink table api 从文件和kafka中读取数据)

还是一样，要先引入依赖，在pom.xml<dependency><groupId>org.apache.flink</groupId><artifactId>flink-table-planner_2.12</artifactId><version>1.10.1</version></dependency&g

flink读kafka

flinksql读kakfa

flink sql kafka

flink sql file

原创 2020-11-25 22:17:42 4607 阅读 1点赞 1收藏

Flink从入门到真香(17、Flink 重磅功能 Table API(Flink SQL))

Flink对批处理和流处理，提供了统一的上层APITableAPI是一套内嵌在java和scala语言中的查询api，它允许以非常直观的方式组合来自一些关系运算符的查询Flink的sql支持基于实现了sql标准的Apachecalcite先来个栗子感受下：demo效果：在数据源txt中读取，输出id和temperature这2个字段，按照id做筛选，输出，分别用tableapi和sql来实现在po

flink table api

flink sql

原创 2020-11-25 22:09:16 6231 阅读

官方博客	全部文章	热门标签	班级博客
了解我们	在线客服	网站地图	意见反馈

开源基础软件社区	51CTO学堂
51CTO	汽车开发者社区

51CTO博客

马飞

prometheus+ Grafana监控全家桶

线上服务器too many open files 问题排查记录

Splunk入门体验

Flink TaskManager OutOfMemoryError: Metaspace 处理记录

使用CDH调整yarn的内存和CPU资源大小

es写入时报TransportError(413, '')

python3 安装clickhouse_sqlalchemy(greenlet) 失败

Spring Boot 各种请求与静态资源记录

centos8 部署mariadb备忘

zookeeper最新版部署测试

java 环境常用安装命令记录

Flink on yarn 环境从0-1

YARN && Hadoop 集群环境准备

KAFKA最新版 3.0.0集群部署测试

记录spring boot 启动卡住的问题

Apache Metron从入门到落灰

开发规范分享

线上mysql的binlog导致磁盘暴增的排查记录

Flink实战-订单支付和对账情况监控（分别使用CEP和ProcessFunction来实现）

Flink实战-恶意登录行为检测-CEP

Flink实战-页面广告分析，并实时检测恶意点击行为

Flink实战，APP推广情况分析

Flink实战，实时流量统计 TOPN访问URL

Flink实战-实时读取日志文件和kafka，持续统计TOP10热门商品

Flink从入门到真香(22、基础最后一篇，各种UDF函数)

Flink从入门到真香(21、Table转换DataStream及窗口)

Flink从入门到真香(20、使用flink table api 输出到mysql和es)

Flink从入门到真香(19、使用flink table api 输出到文件和kafka)

Flink从入门到真香(18、使用flink table api 从文件和kafka中读取数据)

Flink从入门到真香(17、Flink 重磅功能 Table API(Flink SQL))