上周面试数据开发职位主要从公司的视角讲一下记录下面试流水。1. 三面技术一轮hr，面到了cto 整体来看是这一周技术含量最高信息量最大的一个，1到4轮过了4个小时，技术上的问题主要问的对数据分层的理解。1. 一面自我介绍、目前团队的规模多大（20）、你负责的模块是那些（购物、短信、增长）、那几个人在做2. 数据架构图划分（五层架构讲了7分钟左右）3. 指标口径怎么统一 、那些工作（定标准
转载
2024-08-23 10:14:19
99阅读
在处理“Java大数据赛题”时，我的目标是使用Java和大数据技术为复杂的应用场景提供解决方案。该赛题通常涉及数据的处理、分析和可视化，因此，我们需要周密的规划和系统的实现流程。接下来，我将详细描述我在解决这类问题时的过程。
### 环境准备
首先，我需要明确软硬件要求。我的开发环境需要安装以下软件和工具：
- **Java JDK**（版本 11 或更高）
- **Hadoop**（版本
499 · 单词计数 (Map Reduce版本)/** * Definition of OutputCollector: * class OutputCollector<K, V> { * public void collect(K key, V value); *
原创
2022-05-10 12:08:03
10000+阅读
点赞
最近面试了阿里、京东、美团、滴滴等大型互联网公司，最终收到了美团offer，这次面试过后，我把面试过的公司的面试题做了一个整理。这篇文章是我凭回忆记录的，面试题没有顺序，不分先后，接下来公布我去阿里、京东、美团等一线互联网公司的面试题：一、阿里巴巴面试1、开发中Java用得比较多的数据结构有哪些？ArrayList: 元素单个，效率高，多用于查询 2．Vector: 元素单个，线程安全，
转载
2023-12-28 18:58:35
94阅读
python_day_7一. 今日主要内容:1. 补充基础数据类型的相关知识点str. join() 把列表变成字符串列表不能再循环的时候删除. 因为索引会跟着改变字典也不能直接循环删除.把要删除的内容记录在列表中. 循环列表. 删除原列表, 字典中的数据fromkeys() 不会对原来的字典产生影响. 产生新字典(神坑, 考试)set集合. 不重复, 无序.想转换成什么.就用什么括起来深浅拷贝直
转载
2024-07-04 21:28:13
35阅读
1. 给A,B两个文件，各存放50亿条URL，每条URL占用64字节，内存限制是4G，让你找出A,B文件共同的URL。
分析：
1MB = 2^20 = 10^6 = 100万
1GB = 2^30 = 10^9 = 1亿
50亿url = 5G*64 Byte
整理方法如下：
方法一：
分别扫描A,B文件，根据hash(u
原创
2010-09-25 20:50:56
8248阅读
点赞
1评论
在当今这个数字化和信息爆炸的时代，“大数据可视化”已成为各行业关键问题之一。针对近年来企业在大数据可视化过程中遇到的种种挑战，本文将针对“大数据可视化 题”进行分析和讲解，帮助大家理清思路。
### 背景定位
随着数据量的不断激增，如何从复杂的数据中提取有价值的信息成为众多企业的共同难题。在此背景下，适用场景分析显得尤为必要。数据可视化不仅可以帮助企业更高效地理解数据，还能在决策过程中起到重要
1.将爬虫大作业产生的csv文件上传到HDFS此次作业选取的是爬虫《反贪风暴》短评数据生成的info.csv文件；爬取的数据总数为16141条。cm.csv文件数据如下图所示：将info.csv文件上存到HDFS2.对CSV文件进行预处理生成无标题文本文件csv文件数据预处理，删除第一行字段名称 编辑pre_deal.sh文件进行数据的取舍处理让pre_deal.sh文件生效，并显示前面
信息技术_必修1_第5章_习题答案_220420a活动册P1171.单选题(1)从互联网产生大数据的角度来看，大数据具有的特征是( )。 A.“4V”特征:大量（Volume)、多样(Varietv)、低价值密度(Value)、高速（ Velocity) B.样本渐趋于总体，精确让位于模糊，相关性重于因果 C.分布式存储，分布式并行计算 D.没有特征【答案】A【解析】P102，大数据的
转载
2023-11-20 11:46:30
299阅读
背景: 云计算+大数据时代政策: 突破大数据挖掘技术一.什么是大数据大数据： 人机交互的互联式计算系统（人生产资源，消耗资源，成为资源)1.政界定义推动信息计算能力实现:按需供给信息技术和数据资源充分利用2.学界定义基于互联网的相关的服务增加 使用和交互的模式虚拟化的资源服务3.大数据具体特征稠密与稀疏共存: 局部稠密与全局稀疏冗余与缺失并存: 大量冗余与局部缺失显式与隐式均有: 大量显式与丰富隐
转载
2023-11-27 00:31:35
53阅读
大数据、人工智能是整个IT行业发展的趋势、也是国家未来发展战略。无论从国家政策的支持还是从企业的人才需求来说，大数据和人工智能是当代大学生必须学习的技术，从我们近几年对于雇主企业人才需求跟踪分析来看，初期人工智能、数据分析这块人才更多集中在高学历、高水平偏算法工程师这块，而近一年多来，随着很多技术的成熟和项目的落地，企业对于应用类型的初中级人才需求岗位非常多，缺口也比较大；为此我们借助Oracle
转载
2023-12-19 20:03:18
18阅读
1．有两根不均匀分布的香，香烧完的时间是一个小时，你能用什么方法来确定一段15分钟的时间？ 答：把两根香同时点起来，第一支香两头点着，另一支香只烧一头，等第一支香烧完的同时（这是烧完总长度的3/4），把第二支香另一头点燃，另一头从燃起到熄灭的时间就是15分！2．一个经理有三个女儿，三个女儿的年龄加起来等于13，三个女儿的年龄乘起来等于经理自己的年龄，有一个下属已知道经理的年龄，但仍不能确定经理三个
转载
2022-11-03 14:36:30
248阅读
**中级软考大数据试题深度解析**
在信息技术迅猛发展的今天，软件行业对于专业人才的需求日益旺盛。作为国家级的软件专业技术资格认证考试，软考在培养和选拔IT人才方面扮演着举足轻重的角色。其中，中级软考作为承上启下的关键层级，更是吸引了大量考生的关注。近年来，随着大数据技术的兴起和应用，大数据相关的考题在软考中也占据了越来越重要的地位。
大数据，作为信息技术领域的一大热点，其涉及的数据处理、分析
原创
2024-02-28 11:02:19
82阅读
在信息技术迅猛发展的今天，大数据已经成为推动社会进步和产业升级的重要力量。与此同时，与大数据相关的专业人才需求也日益旺盛。为了培养和选拔合格的大数据专业人才，软考（全国计算机技术与软件专业技术资格（水平）考试）中设立了与大数据相关的考试科目。对于志在通过软考大数据专业考试的人来说，刷题是一种非常有效的复习方法。
刷题，即通过大量练习题目来提高对知识点的掌握和应用能力，是备考过程中不可或缺的一环。
原创
2024-04-15 16:19:47
67阅读
1．一个粗细均匀的长直管子，两端开口，里面有4个白球和4个黑球，球的直径、两端开口的直径等于管子的内径，现在白球和黑球的排列是wwwwbbbb，要求不取出任何一个球，使得排列变为bbwwwwbb?答案：切下管子的bb端，装到另一端，遂成BBWWWWBB ；或者如果可以弯曲管子也可以达到这个效果。2．一只蜗牛从井底爬到井口，每天白天蜗牛要睡觉，晚上才出来活动，一个晚上蜗牛可以向上爬3尺，但是白天睡觉
转载
2022-11-03 14:35:40
129阅读
简答题1、(1)数据预处理的主要任务是？书上p56 答： 数据清理：补充缺失数据、平滑噪声数据、识别或删除离群点，解决不一致数据集成：集成多个数据库、数据立方或文件数据变换：规范化、数据离散化、概念分层产生数据归约：简化数据、但产生同样或相似的结果(2)数据清理，对缺失值的处理方法是？书上p58 答： 忽略元组人工填写空缺值使用一个全局常量填充空缺失值使用属性的中心度量（如均值或中位数）填充缺失值
选择20个，填空10个，判断10个，简答6个，程序补全2个第一章 概述
大数据概念 ；4v大数据的影响，对思维方式的影响p11大数据关键技术，四个阶段大数据计算模式大数据与云计算物联网的关系第二章Hadoop
hadoop简介 看远分布式平台基于java开发的，核心HDFS,maprhadoop的特性Hadoop的生态 ，各组件的实现的功能hadoop简单的命令使用：启动，停止。。。。第三章HDF
转载
2024-07-18 13:47:47
41阅读
-------------------------------------------------------------经典算法题：大数据处理常见算法题--------------------------------------------------------------
转载
2021-06-11 09:35:20
505阅读
自我介绍 + 项目介绍数仓为什么要分层？数据仓库都分哪几层？简单介绍一下 Mapreduce 工作原理？Hdfs 的读数据流程了解吗？Hdfs 的写操作呢？zookeeper的选举过程Spark 为什么比 MapReduce 快?Spark 任务执行流程?Spark 用过的解决数据倾斜的方案说一下？Flink 的四大基石都有哪些？watermark 的作用是啥？如何保证数据不丢失？Flink 如何
转载
2023-10-11 22:47:56
118阅读
# 大数据数据挖掘填空题及答案的实现指南
在这个快速发展的互联网时代，数据挖掘成为了一个非常热门的领域。本文将为刚入行的小白开发者介绍如何实现“大数据数据挖掘填空题及答案”的项目。我们将逐步展示整个流程，提供每个步骤的代码示例，并附上相关注释，帮助你更好地理解。
## 项目流程概览
首先，让我们看看整个项目的工作流程：
| 步骤 | 描述 |
|------|------|
| 1
原创
2024-08-27 07:24:57
68阅读
