说明：以下内容仅为个人观点，仅供参考。说期望薪资一定要说具体值，不要说区间。问题尽可能回答的详细一点。 面试官问的一个问题，你回答的越细（比较问你shuffle流程你跟他说一个小时，甚至画张图出来），他后面越问的越少。 一方面是因为你一个问题都能答的那么细，他就觉得你其它方面也还可以。另一方面，面试也有时间限制的，后面的人可能还在等着呢。于是可能你答完这个问题，他随便再问一两个问题基本就可以谈薪资
转载
2023-05-26 14:55:12
133阅读
北京2018年10月24日电 /美通社/ -- 2018年10月，由中国领先的人力资源媒体HRoot策划组织的“首席人力资源官大会（CHRO DIALOGUE）”在北京富力万丽酒店举行。宜信公司高级副总裁、首席人力资源执行官王晓清受邀出席。
宜信公司高级副总裁、首席人力资源执行官王晓清
在组织发展过程中，人力资源负责人要有大格局放眼全球看到未来发展；又要事无巨细，从
转载
2023-08-01 09:22:25
1183阅读
上周面试数据开发职位主要从公司的视角讲一下记录下面试流水。1. 三面技术一轮hr，面到了cto 整体来看是这一周技术含量最高信息量最大的一个，1到4轮过了4个小时，技术上的问题主要问的对数据分层的理解。1. 一面自我介绍、目前团队的规模多大（20）、你负责的模块是那些（购物、短信、增长）、那几个人在做2. 数据架构图划分（五层架构讲了7分钟左右）3. 指标口径怎么统一 、那些工作（定标准
转载
2024-08-23 10:14:19
99阅读
第一章 zookeeper入门zookeeper是一个开源的分布式，为分布式应用提供协调服务的apache项目，zookeepr的工作机制zookee
原创
2021-07-09 16:46:35
331阅读
1. ConcurrentHashMap 是怎么实现的？答：concurrent 包中线程安全的哈希表，采用分段锁，可以理解为把一个大的 Map 拆分成 N 个小的 HashT
转载
2022-01-10 11:58:12
524阅读
一、Linux 常用的5个高级命令：查看端口号netstat、查看进程ps、查看磁盘使用情况iotop 二、shell 1、shell的工具：awk、sed、sort、cut 2、写过哪些脚本？ 群起脚本、数仓与MySQL的数据导入导出、数仓不同层级之间的导入 三、Hadoop 1、入门 （1）常见
原创
2022-05-27 18:00:26
129阅读
# 大数据Java面试科普
## 1. 什么是大数据？
在当今信息爆炸的时代，大量的数据被生成和存储。这些数据通常被称为“大数据”。大数据具有三个特点：Volume（数据量大）、Velocity（数据产生速度快）、Variety（数据种类多）。处理大数据需要使用特殊的工具和技术，以便能够从中提取有价值的信息。
## 2. Java在大数据中的应用
Java作为一种强大的编程语言，在大数据处
原创
2024-05-29 04:18:36
34阅读
目录1、出了一道题，一张千万数据量的表和一张抽取的新增的8万数据量的表，在不同的层里，怎么合并两张表？用sql方法？2、数据漂移3、你们的项目组表右多少张，数据量大概是多少4、每天的数据量有多少5、什么时候用到存储过程6、你在工作中遇到过哪些报错，什么原因导致的7、查询两千万的数据要多久8、标签，字段，口径是同一个东西9、什么是维度退化10、项目的粒度11、每天同步的表有哪些，增量数据有哪些？12
配置跨域启动测试项目发布发布的项目准备服务器【Alibaba Cloud Linux 3.2104 LTS 64位 快速启动版】链接linux服务器安装ASP.Net Core3.1环境安装 SDK.NET版本验证直接启动安装nginx查看nginx.service状态命令：启动nginx.servicenginx文件位置公网访问我之前写过docker的，这里写一下nginx的发布方法：
# Java面试大数据实现指南
## 1. 简介
在Java面试中，大数据是一个重要的考点。本指南将帮助你了解如何在Java中实现大数据相关的问题，并为你提供一些代码示例和解释。
## 2. 实现流程
下面是实现"java 面试 大数据"的整个流程：
```mermaid
flowchart LR
A(开始) --> B(了解大数据概念)
B --> C(掌握Java大数据技术栈)
C -
原创
2023-08-04 13:41:26
102阅读
1.一个数组快可以对应很多个，或者一个切片一个split对应一个map一个map对应一个或者n个reduceMap的输出正好是reduce的输入。Shuffer：洗牌数据向计算移动。如何让shuffer的效率最高。split一条一条，以一条记录为依据，也就是换行符。映射成key -value的形式。相同的key为一组。面试的时候，buffer额调优，会是加分项。有很多的机械读写，线性读写。相同的k
1、什么是数据倾斜我们在用hive的时候，有时候跑一个简单的join语句，但是却跑了长时间，有的时候我们会觉得集群资源不够导致的，但是很大情况下就是出现了数据倾斜的情况。
原创
2021-07-05 09:29:16
808阅读
本套SQL题的答案是由许多小伙伴共同贡献的，1+1的力量是远远大于2的，有不少题目都采用了非常巧妙的解法，也有不少题目有多种解法。本套大数据SQL题不仅题目丰富多样，答案更是精彩绝伦！注：以下参考答案都经过简单数据场景进行测试通过，但并未测试其他复杂情况。本文档的SQL主要使用Hive SQL。因内容较多，带目录的PDF查看是比较方便的：最强最全面的大数据SQL经典面试题完整PDF版一、行列转换描
转载
2023-08-25 21:21:15
83阅读
# 如何实现大数据hive面试
## 一、流程
以下是实现大数据hive面试的整体流程：
| 步骤 | 描述 |
| ---- | ---- |
| 1 | 安装Hive |
| 2 | 启动Hive服务 |
| 3 | 创建数据库 |
| 4 | 创建表 |
| 5 | 加载数据 |
| 6 | 执行查询 |
## 二、代码实现
### 1. 安装Hive
首先，你需要安装Hive。
原创
2024-03-21 07:03:10
20阅读
在现代大数据处理环境中，Apache Spark 已逐渐成为主流选择。然而，在大数据面试中，如何有效地设计和管理数据备份及恢复解决方案将直接影响项目的成功与否。本文将通过关键结构展示一个完整的备份与恢复策略，帮助应对“spark 大数据面试”相关的技术问题。
### 备份策略
在设计备份策略时，我们采用甘特图展示周期计划，这有助于快速识别备份任务的时间安排。在备份过程中，选择合适的存储介质对维
什么是大数据？大数据(big data,mega data)，或称巨量资料，指的是需要新处理模式才能具有更强的决策力、洞察力和流程优化能力的海量、高增长率和多样化的信息资产。 在维克托·迈尔-舍恩伯格及肯尼斯·库克耶编写的《大数据时代》中大数据指不用随机分析法(抽样调查)这样的捷径，而采用所有数据进行分析处理。大数据的4V特点:Volume(大量)、Velocity(高速)、Variety(多样)
转载
2023-09-08 14:37:50
112阅读
1.String 和StringBuffer的区别
JAVA平台提供了两个类:String和StringBuffer，它们可以储存和操作字符串，即包含多个字符的字符数据这个String类提供了数值不可改变字符串而这个StringBuffer类提供的字符串进行修改当你知道字符数据要改变的时候你就可以使用StringBuffer典型地，你可以使用Strin
转载
2023-10-12 10:56:57
64阅读
Fast R-CNN是R-CNN的改良版，同时也吸取了SPP-net中的方法。在此做一下总结。 论文中讲到在训练阶段，训练一个深度目标检测网络（VGG16），训练速度要比R-CNN快9倍左右，比SPP-net快3倍左右。在测试阶段，处理一张图片需要0.3s。在PASCAL VOC 2012数据库上的mAP也达到了66%，比R-CNN高两个百分点。 提出背景 这个方法提出的背景是，R-CN
转载
2024-09-14 13:11:32
23阅读
文章目录前言一、考察SQL能力*初级*1. 表A只有一个字段ID，值为[1,2,2,3,3,3]。现要求查询出重复的id2.表A又两个字段ID和Create_Time，计算今天新增的ID表[不包含昨天的那一部分]；3. 表A和表B都只有一个字段Account，如果account来自A则输出red，来自B则输出blue；4. 计算字符串'ABCABC' 中字符A的个数*高级*5. 表A有两个字段I
转载
2024-04-07 15:39:09
71阅读
大数据SQL面试题本套SQL题的答案是由许多小伙伴共同贡献的，1+1的力量是远远大于2的，有不少题目都采用了非常巧妙的解法，也有不少题目有多种解法。本套大数据SQL题不仅题目丰富多样，答案更是精彩绝伦！注：以下参考答案都经过简单数据场景进行测试通过，但并未测试其他复杂情况。本文档的SQL主要使用Hive SQL。#一、行列转换描述：表中记录了各年份各部门的平均绩效考核成绩。 表名：t1 表结构：a
转载
2023-08-11 21:46:21
141阅读
