上周面试数据开发职位主要从公司的视角讲一下记录下面试流水。1. 三面技术一轮hr，面到了cto 整体来看是这一周技术含量最高信息量最大的一个，1到4轮过了4个小时，技术上的问题主要问的对数据分层的理解。1. 一面自我介绍、目前团队的规模多大（20）、你负责的模块是那些（购物、短信、增长）、那几个人在做2. 数据架构图划分（五层架构讲了7分钟左右）3. 指标口径怎么统一 、那些工作（定标准
总结下面试过程中关于JVM的知识，本人面试的是算法工程师，也会被问到Java中的知识，JVM被问到的次数还挺多的，现在整理下。 面试官一般会这么问，你懂JVM，讲一讲？这时就要看自己的条理和重点了。 内存分配、垃圾回收、类加载机制，以下主要参考该书。一：内存分配：JVM内存中的区有：程序计数器、虚拟机栈、本地方法栈、堆、方法
1. ConcurrentHashMap 是怎么实现的？答：concurrent 包中线程安全的哈希表，采用分段锁，可以理解为把一个大的 Map 拆分成 N 个小的 HashT
转载
2022-01-10 11:58:12
451阅读
第一章 zookeeper入门zookeeper是一个开源的分布式，为分布式应用提供协调服务的apache项目，zookeepr的工作机制zookee
原创
2021-07-09 16:46:35
289阅读
一、Linux 常用的5个高级命令：查看端口号netstat、查看进程ps、查看磁盘使用情况iotop 二、shell 1、shell的工具：awk、sed、sort、cut 2、写过哪些脚本？ 群起脚本、数仓与MySQL的数据导入导出、数仓不同层级之间的导入 三、Hadoop 1、入门 （1）常见
原创
2022-05-27 18:00:26
116阅读
# 大数据Java面试科普
## 1. 什么是大数据？
在当今信息爆炸的时代，大量的数据被生成和存储。这些数据通常被称为“大数据”。大数据具有三个特点：Volume（数据量大）、Velocity（数据产生速度快）、Variety（数据种类多）。处理大数据需要使用特殊的工具和技术，以便能够从中提取有价值的信息。
## 2. Java在大数据中的应用
Java作为一种强大的编程语言，在大数据处
# Java面试大数据实现指南
## 1. 简介
在Java面试中，大数据是一个重要的考点。本指南将帮助你了解如何在Java中实现大数据相关的问题，并为你提供一些代码示例和解释。
## 2. 实现流程
下面是实现"java 面试 大数据"的整个流程：
```mermaid
flowchart LR
A(开始) --> B(了解大数据概念)
B --> C(掌握Java大数据技术栈)
C -
原创
2023-08-04 13:41:26
85阅读
1、什么是数据倾斜我们在用hive的时候，有时候跑一个简单的join语句，但是却跑了长时间，有的时候我们会觉得集群资源不够导致的，但是很大情况下就是出现了数据倾斜的情况。
原创
2021-07-05 09:29:16
737阅读
# 如何实现大数据hive面试
## 一、流程
以下是实现大数据hive面试的整体流程：
| 步骤 | 描述 |
| ---- | ---- |
| 1 | 安装Hive |
| 2 | 启动Hive服务 |
| 3 | 创建数据库 |
| 4 | 创建表 |
| 5 | 加载数据 |
| 6 | 执行查询 |
## 二、代码实现
### 1. 安装Hive
首先，你需要安装Hive。
本套SQL题的答案是由许多小伙伴共同贡献的，1+1的力量是远远大于2的，有不少题目都采用了非常巧妙的解法，也有不少题目有多种解法。本套大数据SQL题不仅题目丰富多样，答案更是精彩绝伦！注：以下参考答案都经过简单数据场景进行测试通过，但并未测试其他复杂情况。本文档的SQL主要使用Hive SQL。因内容较多，带目录的PDF查看是比较方便的：最强最全面的大数据SQL经典面试题完整PDF版一、行列转换描
转载
2023-08-25 21:21:15
64阅读
什么是大数据？大数据(big data,mega data)，或称巨量资料，指的是需要新处理模式才能具有更强的决策力、洞察力和流程优化能力的海量、高增长率和多样化的信息资产。 在维克托·迈尔-舍恩伯格及肯尼斯·库克耶编写的《大数据时代》中大数据指不用随机分析法(抽样调查)这样的捷径，而采用所有数据进行分析处理。大数据的4V特点:Volume(大量)、Velocity(高速)、Variety(多样)
转载
2023-09-08 14:37:50
68阅读
# 如何准备“数据结构与算法”面试题
作为一名刚入行的开发者，面试中“数据结构与算法”是一个不可避免的话题。为了帮助你更好地准备，我将为你提供一份详细的指南，包括整个准备流程和一些关键的代码示例。
## 准备流程
下面是准备“数据结构与算法”面试题的流程，我将用表格的形式展示：
| 步骤 | 描述 |
|---|---|
| 1 | 学习基本的数据结构和算法 |
| 2 | 练习编程语言
1.String 和StringBuffer的区别
JAVA平台提供了两个类:String和StringBuffer，它们可以储存和操作字符串，即包含多个字符的字符数据这个String类提供了数值不可改变字符串而这个StringBuffer类提供的字符串进行修改当你知道字符数据要改变的时候你就可以使用StringBuffer典型地，你可以使用Strin
# Java高级面试提纲
在Java开发领域，高级面试通常关注深入的概念、设计模式、并发编程和性能优化等方面。本文将探讨几个常见的高级主题，并通过代码示例进行阐述。
## 1. 状态模式
状态模式是一种行为设计模式，它允许一个对象在其内部状态改变时改变其行为。适用于状态变化频繁的场景。
### 状态图
```mermaid
stateDiagram-v2
[*] --> Off
大数据SQL面试题本套SQL题的答案是由许多小伙伴共同贡献的，1+1的力量是远远大于2的，有不少题目都采用了非常巧妙的解法，也有不少题目有多种解法。本套大数据SQL题不仅题目丰富多样，答案更是精彩绝伦！注：以下参考答案都经过简单数据场景进行测试通过，但并未测试其他复杂情况。本文档的SQL主要使用Hive SQL。#一、行列转换描述：表中记录了各年份各部门的平均绩效考核成绩。 表名：t1 表结构：a
转载
2023-08-11 21:46:21
125阅读
文章目录前言一、考察SQL能力*初级*1. 表A只有一个字段ID，值为[1,2,2,3,3,3]。现要求查询出重复的id2.表A又两个字段ID和Create_Time，计算今天新增的ID表[不包含昨天的那一部分]；3. 表A和表B都只有一个字段Account，如果account来自A则输出red，来自B则输出blue；4. 计算字符串'ABCABC' 中字符A的个数*高级*5. 表A有两个字段I
作者：Donglian Lin 。在本文中，我们将涵盖所有常见问题，这些问题将帮助您通过最佳解决方案在面试中胜出。但在此之前，让我告诉您对大数据和 Hadoop 专家的需求是如何持续增长的。美国大数据 Hadoop 开发人员的平均工资为 144,000 美元- Indeed.com印度大数据 Hadoop 开发人员的平均工资为 1600,000 卢比-Indeed.com英国的平均年薪为 £66,
大数据面试之Hive1.Hive1.1 Hive的架构模型？1.2 Hive配置、启动和访问？1.3 hive中存放的是什么？1.5 Hive建表语句1.6 Hive内部表，外部表的区别1.7 Hive如何导入数据？1.8 Hive如何导出数据？1.9 Hive的数据倾斜1.10 Hive分区、分桶如何实现？优缺点1.11 请说明hive中Sort By、Order By、Cluster By，
1、基本概念1）事实表事务事实表周期快照事实表累积快照事实表2）维度表缓慢变
原创
2021-07-05 18:08:34
973阅读
