发布几个超强招聘需求,附送面试吹牛草稿!_离线

编 辑:彭文华

彭友们好,我是老彭啊。这两天好几个朋友拜托我帮忙招人啊~~真是"满园春色关不住,一枝红杏出墙来"!

今天为彭友们推荐几个超强的招聘需求,顺便附送几个吹牛草稿~~~

发布几个超强招聘需求,附送面试吹牛草稿!_flink_02

招聘需求

1、某部委的彭友找数据领域技术管理人才。不是老彭跟你吹,无数彭友打着灯笼都找不到这样的机会~~

发布几个超强招聘需求,附送面试吹牛草稿!_离线_03

2、某国企组建新团队,什么都要!有彭友说从0到1很难,其实不然。开拓性质的意思就是做啥都对。

发布几个超强招聘需求,附送面试吹牛草稿!_flink_04

3、某公司招聘数字化负责人,嗯,数字化领域的一把手,你懂的!

发布几个超强招聘需求,附送面试吹牛草稿!_flink_05

发布几个超强招聘需求,附送面试吹牛草稿!_离线_06

吹牛草稿之自我介绍

面试官好,我是 XX,目前就职于 xXX公司,已经有X年数仓开发经验。技术栈是Spark和Flink。我先后在XX和XX公司参与数仓从 0 到 1 搭建以及离线数仓重构、实时数仓搭建项目。目前离线数仓日处理任务量*个,数据*T,支撑*条业务线***个报表。实时数仓支撑**、**、**应用的实时业务需求,能做到*秒响应。

在技术方面,我经常研究技术原理,阅读过Flink源码,对Flink各种特性比较了解,例如 flink 的水位线,双流 join 等。遇到过各种大数据常见的问题,比如数据倾斜、调优等都有一些心得。

另外,比较注重与产品、业务团队的沟通和协调,在业务需求分析方面比较重视,善于沟通,尊重流程,提供较好的工作界面。

发布几个超强招聘需求,附送面试吹牛草稿!_flink_07

吹牛草稿之项目介绍

我举一个例子,就是目前我负责的实时数仓项目。该项目的目标是制作公司运营实时大屏。共有3个场景:面向决策层的驾驶舱、面向运营团队的实施运营大盘以及面向公司宣传的业务大屏。

虽然说是实时大屏,但是需要支持运营团队的其他需求,因此同时也需要离线数仓。为了保持技术栈的统一,也方便数据分析团队使用,我们经过选型,最终选定了Spark+SparkStreaming,作为离线+实时数仓的技术栈。

由于日志数据较大,我们使用Flume采集日志数据,利用kafka的超大吞吐量特性进行传输和分发,在实时业务上,Kafka的持久化特性也能发挥重要作用。

为了便于管理,防止对业务库的影响,我们使用canal实时同步Mysql业务库的数据。

在离线数仓中,使用DataX做数据处理和调度。总共分为4层:贴源层ODS、明细数据层DWD、汇总层DWS、业务应用层ADS,用户域、商品域、交易域等11个域。

各层分层逻辑....

各领域切分逻辑...

在运营板块,主要支持了XX、XX、XX等业务。以活动业务为例,我们从业务库中获取每日活动数据,从日志中抓取用户参与活动的数据,并进行**、**处理后,加工成**、**、**报表所需的数据,放在Redis中,供前端大屏调取。

在这个项目中,最难的是离线和实时数据对齐的问题,我们最终的解决办法是*****。

发布几个超强招聘需求,附送面试吹牛草稿!_flink_08

结语

金三银四来了彭友们,国家正在大力推动数字化发展,大家要抓住这次千载难逢的机会啊!

 




排版 | 老彭

审校  主编 | 老彭