目前各大公司的校招已经启动,相信很多小伙伴有和我当年一样的困扰。国内高校开辟大数据相关专业正好一个毕业季过去了,那么作为一个科班出身的学生,该怎么准备校招呢?

本文是在和读者交流的过程中,在网络上搜集到的一些面试资源,只要自己掌握方法并且准备充分,其实很容易在面试中脱颖而出。

其实当时的我也非常发愁,觉得自己什么都不会,又不知道该准备些什么,走了不少弯路。在收集面试资源的同时,也发现同样作为95后,现在的学生面试的眼界和能力都比2-3年前强出很多,但是基础知识会稍微差一些。大概也是因为网上太多的这个实战、那个实战内容太多了,反而基础知识准备不充分。

小米/字节/阿里

Hadoop

  • 1.介绍下Hadoop(字节.好未来)

  • 2.mapreduce处理流程/shuffle过程(阿里.好未来.网易)

  • 3.Yarn是怎么工作的(小米)

  • 4.mapreduce和hdfs是一体的吗,有什么关系(阿里)

  • 5.数据倾斜是如何产生的及解决方案(阿里.字节.小米.网易.好未来)

  • 6.mapreduce有几种join(字节)

  • 7.Hadoop的HA

Hive

  • 1.内部表和外部表的区别(字节.好未来)

  • 2.数据仓库的分层(小米.好未来.网易)

  • 3.星型模型和雪花模型的选择(字节.好未来)

  • 4.数据仓库和传统数据库的区别(好多都问了)

  • 5.接上问,维度冗余及三范式(字节.好未来)

  • 6.hive数据存储格式.压缩格式,区别(好未来)

  • 7.HQL执行慢是怎么解决的(字节.阿里.小米)

Spark

  • 1.job.stage.task的关系(小米)

  • 2.spark任务提交过程(阿里.小米)

  • 3.spark常见算子(小米)

  • 4.spark shuffle和mr shuffle的区别及优化

  • 5.spark容错机制(阿里)

  • 6.sparkSQL的几种join实现

  • 7.介绍下sparkstreaming

  • 8.spark RDD的理解

Flink

  • 1.spark streaming和flink的比较(小米)

  • 2.flink的状态(小米)

  • 3.flink的容错机制.状态一致性(阿里)

  • 4.讲述一致性检查点的实现——分布式快照(阿里)

  • 5.flink的watermark.窗口机制.时间(小米)

  • 6.flink的运行构架

Mysql

  • 1.索引相关,b+tree(阿里)

  • 2.建立索引的考虑因素(使用频率.联合索引.索引顺序)

  • 3.聚簇索引.覆盖索引与回表查询

  • 4.索引失效的情况,如何知道索引是否被用到

  • 5.什么是事务,事务并发带来的问题(脏读.不可重复读.幻读)

  • 6.ACID.隔离级别

Kafka

  • 1.kafka的文件存储机制

  • 2.kafka的可靠性保障 1)生产者往broker发送消息(副本数据同步策略.ISR.ACK) 2)topic分区副本 3)leader选举

  • 3.kafka一致性保障

  • 4.如何保障数据有序性

  • 5.kafka和传统消息队列的区别

Redis

  • 1.redis的优缺点

  • 2.redis的数据类型

  • 3.为什么redis效率高

  • 4.redis主从复制过程

  • 5.AOF.RDB的优缺点.适用场景

  • 6.redis的过期淘汰策略

  • 7.缓存雪崩.缓存击穿及如何解决

Java基础

这个写起来就太多了,基本包含了Java的基础知识、JVM、多线程等等。

开放型问题

  • 1.谈谈对大数据处理思想的理解(可以围绕分而治之、计算向数据移动展开)

  • 2.谈谈对大数据体系演变的理解(阿里)

  • 3.你觉得未来大数据体系的变化可能是怎样的(阿里)

  • 4.如果你的抖音突然卡住了,会是因为什么(字节)

算法

笔者不是算法大神,剑指offer刷过两遍,整体回顾过四五次,建议每次面试前将j剑指offer 链表、二叉树、栈和队列、动态规划、递归及回溯 的题目都分块回顾一次,链表的题一般用虚拟头结点、步长差解决。

二叉树的题目一般要么和遍历有关,借助栈和队列,比如镜像和对称二叉树、求深度、之字形打印...都相当于在遍历中加入判断条件;要么用递归及回溯思想解决,比如树的子结构,最低公共祖先、和为某值的路径等题目。

动态规划思想我认为是维护一个状态,关注点就在目前状态和新进来的数据上面,然后进行比较和状态更新,需要多练习找感觉。

另外排序算法也要熟悉,冒泡啥的不说了,快速排序、归并排序也要可以直接写出来。算法练习过程中注意思考多种方法解题,字节面试中有遇到追问第二种方法解决问题。

字节

一面

  • 维度建模 :确认主题、确认粒度、确认度量、确认事实表、确认维度表

  • Hive shuffle 和 spark shuffle的区别

  • Spark 为什么快?Spark任务是怎么执行的

  • 转化率如何计算

  • 缓慢变化维怎么处理

  • Flink状态

  • Flink窗口

  • Flink广播流

二面

  • Hive count(distinct)有几个reduce 海量数据会有什么问题

  • Spark优化

  • Flink 精确一致怎么保证

  • Flink 实时topN

  • Flink 写入redis怎么保证精确一致

  • Spark hive 用过的解决数据倾斜的方案

  • 事实表分类

  • 累积型快照事实表做法

三面

  • Hdfs读数据流程 源码级别(要回答出来 rpc)

  • Hdfs写数据流程 源码级别(要回答出来rpc)

  • Mapreduce shffule原理 源码级别(要回答出来锁 多线程 以及缓存写磁盘交换)

  • 数仓为什么要分层

  • 实时比起来离线 要注意啥

  • 特征挖掘是怎么做的?怎么管理的

Shopee

一面

  • 自我介绍(要求重点介绍项目)

  • 怼项目(重点在于Hadoop相关部分)

  • Hadoop相关问题的延伸(HDFS写数据流程,要求越详细越好)

  • 如果要实现一个HashMap怎么做,算法复杂度多少

  • 手撸快排。(有思路没撸出来)

  • 面试要求尽可能的说出细节,但是我只能大概说出来一些设计原则

  • 由于实习的时候用过 clickhouse(其实就当关系数据库存储了一下数据),所以面试官让我讲讲 clickhouse,我给小姐姐说明我只是当数据库用的之后,她就只让我说了 clickhouse 有哪些特点?

  • 对 java 熟悉吧?JVM 的内存结构?

  • volatile 关键字的作用?

  • 说说 MySQL 的索引?b树与b+树的区别?

  • Redis的应用场景有哪些?Redis支持的数据结构?

  • 40亿条数据,内存只有10G,如何确定一个数是否存在于这40亿的数字里面?

  • Spark的作业运行流程是怎么样的?

  • Spark处理数据倾斜的方法?

  • Kafka作为消息队列,它可解决什么样的问题?

  • Hive的文件存储格式都有哪些?

  • HQL:行转列、列转行

  • HQL:一张表字段有 id,name,date,其中id有重复,问如何拿到最新的date对应的id的name?

  • ZooKeeper 如何实现分布式锁?

  • 了解Linux吧?如何查看占用CPU最高的进程?

  • 算法题:用栈实现一个队列,提供入队、出队方法?

二面

  • namenode的主要职责,元数据的形式

  • 介绍namenode宕机的恢复过程

  • namenode启动时datanode向namenode的心跳报告内容

  • block划分的原因

  • HDFS写数据流程

  • 一个多线程代码,判断是否会跳出线程。(主要考察线程中对类静态成员变量的访问)

  • linux bash,一行命令,输出文件中某关键字的出现的行数

三面

  • 一个线程生成key-value对,另外一个线程合并相同的key对value求和

  • SQL语句,合并表里相同人姓名的成绩求和

  • 最后linux bash脚本求去除表头后第二列值的和

  • sql:用户连续登录问题

  • sql:求平均成绩大于80,且0001课程分数高于0002课程分数的学生id

  • 数据倾斜问题

  • jvm内存中,堆和栈的区别?

  • Objects类中的通用方法?其中hashCode方法的返回值是什么?

  • 如何创建一个线程?使用线程设置堆大小?

  • jvm垃圾回收机制?

  • 算法:二叉树的镜像

  • 内存只有256M,有两个10G的文件,从这两个文件中找出相同的数字?(只说思路)

  • 大概就是这些啦,后边要是想起来其他的,会来更。

腾讯

一面

  • 自我介绍

  • 在工作中负责的内容

  • 数仓分层

  • Spark 任务遇见过哪些问题?怎么解决的

  • 维表和事实表

  • 事实表有哪些种类

  • 项目组有哪些人,什么指责

  • 有多少张表,是怎么管理的

  • sql题

  • join 时 on 和 where 语法

  • 用户连续打卡天数

二面

  • 主题是怎么划分的,从那一层开始,为什么

  • 维表和事实表

  • 事实表有哪些种类

  • 数据质量是怎么保证的,有哪些方法保证

  • 怎么衡量数仓的数据质量,有哪些指标

  • 离线任务遇见过哪些问题,怎么处理的,如数据迟到、数据重复

  • 怎么保证数据的一致性

  • 数据仓库和数据中台区别

  • 数据仓库中有哪几类数据建模

  • 对于缓慢变化的数据,在数据仓库中是如何处理的

  • 如何建立用户画像指标的,如何维护

  • 如何实施数据清洗的?从哪些方面着手

  • 如若提供出去的指标有问题,如何解决和定位

美团

一面

  • 1 自我介绍

  • 2 介绍一下数学建模竞赛,做了什么、遇到什么问题、怎么解决的

  • 3 做了几道SQL题

  • 4 常用的操作系统命令

  • 5 io占用很高怎么解决

  • 6 MySQL索引

  • 7 mapreduce原理

  • 8 说说shuffle

  • 9 数据倾斜了解吗,怎么优化

  • 10 项目相关,数据为什么存到mongodb

  • 11 hive了解吗

  • 面试官人很好,建议我找点数据跑一下

二面

  • 1 项目说说你具体做了什么

  • 2 Java实现一个word count

  • 3 改进一下写的代码

  • 4 聊聊spark,spark你做过什么

  • 5 项目里spark streaming用哪一个层面的接口,RDD,dataframe,dataset

  • 6 说一下spark的DAG

  • 7 spark的懒加载机制

  • 8 hive常见的调优方法

  • 9 分区分桶的逻辑

  • 9 网络七层协议,通过每一层解决什么问题

  • 10 Linux常见命令

  • 11 shell写过什么东西

  • 12 shell中管道的概念怎么理解

  • 13 常见数据结构有哪些,怎么理解B树和B+树

  • 14 MYSQL插入一条数据,索引的变化

  • 15 敲键盘,屏幕显示对应的数据,这个过程计算机做了什么

  • 16 字符集编码解码的原理

  • 17 六个人围成一个圆桌就餐有多少种就坐方式?每个人点一道菜,一共有四种菜系,有多少种点法

三面

  • 1 自我介绍

  • 2 本科研究生学过什么计算机的知识

  • 3 操作系统文件系统介绍一下

  • 4 说说你擅长的吧,展开说说Hadoop,hive,hbase

  • 5 Hadoop你搭建过吗,怎么搭建的详细说说

  • 6 zookeeper搭建要配置什么

  • 7 最近做过大数据的相关东西吗,说说你的项目

  • 8 详细说说你建的什么表,rowkey是怎么设计的

  • 9 HBASE适合解决什么问题

  • 10 MySQL适合做什么,你对MySQL了解多少,说说建过的表

  • 11 为什么项目里不把MySQL存的数据不存到HBASE

  • 12 你用MySQL解决过什么实际问题

  • 13 讲讲Java关键的语法特性

  • 14 hashmap的key和value对于存储的实例有什么要求

  • 15 用原始的数据类型实现一个list

网易

一面

  • 1.自我介绍(3分钟)

  • 2.介绍ETL开发项目(15分钟)

  • 3.为什么数据存入hdfs还要再倒入NoSql,为什么hdfs对olap支持不友好。

  • 4.spark任务执行全过程。

  • 5.mapReduce对比spark

  • 6.linux操作命令(没答上来,表示没用到过)

  • 7.统计学中p值的意义,中位数的意义,和均值对比,使用场景

  • 8.业务题:1.网易云课堂突然订阅量下降,怎么定位分析原因2.在各个平台投放简历,怎么评估效果。

二面

  • 1.自我介绍(3分钟)

  • 2.介绍ETL开发项目(15分钟)

  • 3.介绍数据仓库开发,数据迁移项目(10分钟)

  • 4.介绍机器学习项目,怎么和大数据开发做的结合(5分钟)

  • 5.kafka结构,怎样防止脑裂,为什么最新版本不用zookeeper来维护offset

  • 6.手撕代码,找出数组中第二大的数。

三面

  • 1.自我介绍(3分钟)

  • 2.介绍ETL开发项目(15分钟)

  • 3.手撕代码:知道二叉树前中序遍历,怎么得到后续遍历,限时5分钟

  • 4.业务题: 1.开发统计某app用户各功能使用时长,整个流程怎么实现,怎么优化,怎么横向拓展。2.统计评估各个网页的重要性,采取的算法思路,spark代码实现。(实际就是Google page rank算法)

四面

  • 实习做的事

  • 实习公司的技术整体架构

  • 前后端,数据中心算法团队的协同配合

百度

一面

  • 1.项目介绍

  • 2.join的left join , inner join, cross join

  • 3.MR

  • 4.冒泡排序

  • 5.维度建模三种模型

  • 6.Awk

  • 7.动态分区静态分区

  • 8.数据倾斜

  • 9.Join大小表

二面

  • 1.项目介绍(深度挖掘,问到自闭)

  • 2.Sql 取A、B两个表的交集,A表减交集,B表减交集

  • 3.Sql 成绩排名前三的学生的情况

  • 4.Sql 左连接的情况

  • 5.二叉树查找

  • 6.两个有序链表合并

  • 7.Shell、linux常用的语句

  • 8.工厂模式

  • 9.mysql中myIsam,Innodb各自区别和使用场景

三面

  • 1.手撕代码:两个有序数组的交集(写的有点错误)

  • 2.动态分区

  • 3.Linux常用命令

  • 4.Spark数据倾斜、Spark血缘等

10篇校招/社招面经请你查收~_编程语言

八千里路云和月 | 从零到大数据专家学习路径指南

我们在学习Flink的时候,到底在学习什么?

193篇文章暴揍Flink,这个合集你需要关注一下

Flink生产环境TOP难题与优化,阿里巴巴藏经阁YYDS

Flink CDC我吃定了耶稣也留不住他!| Flink CDC线上问题小盘点

我们在学习Spark的时候,到底在学习什么?

在所有Spark模块中,我愿称SparkSQL为最强!

硬刚Hive | 4万字基础调优面试小总结

数据治理方法论和实践小百科全书

标签体系下的用户画像建设小指南

4万字长文 | ClickHouse基础&实践&调优全视角解析

【面试&个人成长】2021年过半,社招和校招的经验之谈

大数据方向另一个十年开启 |《硬刚系列》第一版完结

我写过的关于成长/面试/职场进阶的文章

当我们在学习Hive的时候在学习什么?「硬刚Hive续集」

你好,我是王知无,一个大数据领域的硬核原创作者。

做过后端架构、数据中间件、数据平台&架构、算法工程化。

专注大数据领域实时动态&技术提升&个人成长&职场进阶,欢迎关注。

10篇校招/社招面经请你查收~_大数据_02