一、除了要理解底层的原理之外,还要掌握如何分析查看性能瓶颈,blink除了从底层多处进行优化之外,还优化了flink的 web ui,而且都有了比较大的提升。

二、在github下载blink

https://github.com/apache/flink/tree/blink 三、blink有哪些优点

1.界面的内容风格已经完全重构,而且细节非常丰富

2.资源使用:新增 Cluster、TaskManager 与 Job 三个级别的资源信息,资源的申请与使用情况一目了然。

3.作业调优:作业的拓扑关系及数据流向可以追溯至 Operator 级别,Vertex 增加 InQueue,OutQueue等多项指标,可以方便的追踪数据的反压、过滤及倾斜情况。

4.日志查询:TaskManager 和 JobManager 的日志功能得到大幅度加强,从Job、Vertex、SubTask 等多个维度都可以关联至对应日志,提供多日志文件访问入口,以及分页展示查询和日志高亮功能。

5.交互优化:对页面交互逻辑进行了整体优化,绝大部分关联信息在单个页面就可以完成查询和比对工作,减少了大量不必要的跳转。

6.性能提升:使用 Angular 7.0 进行了整体重构,页面运行性能有了一倍以上的提升。在大数据量情况下也不会发生页面假死或者卡顿情况。

7.日志管理: 对于日志相关的监控和查看taskmanager的日志,可以看到TaskManager 和 JobManager 的日志功能得到大幅度加强,从Job、Vertex、SubTask 等多个维度都可以关联至对应日志。

四、打包运行blink

1.进入filnk-blink目录

ble android 源码 blink源码_github


2.使用命令打包

mvn clean package -DskipTests

3.编译结束之后,会在build-target目录下生成blink的安装文件,然后你可以复制出来,仅仅想本地模式测试的话,可以直接,执行

bin/start-cluster.sh

4.启动完成之后,浏览器输入host:8081,即可登陆blink的web界面。

5.也许会报错、那么采用以下方法进打包运行

flink-libraries
flink-shaded-hadoop
flink-connectors
flink-yarn
flink-queryable-state
flink-filesystems
flink-metrics

在各个目录下执行 maven install

6.然后在flink-dist项目下进行 maven install 之后进行flink-dist/target路径下看到flink-2.11.tar.gz、解压运行即可

五、题外话,最近偶然获得Elasticsearch学习笔记

ble android 源码 blink源码_flink_02


下载地址:https://elasti.oss-cn-beijing.aliyuncs.com/Elasticsearch 学习笔记.docx