作者：撩人的羊
第一部分：海量数据处理1.寻找热门查询：搜索引擎会通过日志文件把用户每次检索使用的所有检索串都记录下来，每个查询串的长度为1-255字节。假设目前有一千万个记录，这些查询串的重复度比较高，虽然总数是1千万，但如果除去重复后，不超过3百万个。一个查询串的重复度越高，说明查询它的用户越多，也就是越热门。请你统计最热门的10个查询串，要求使用的内存不能超过1G。（1
转载
2024-09-18 09:24:10
72阅读
# Java数据量面试题_海量数据面试题集锦实现流程
## 概述
本文旨在教会刚入行的小白如何实现“java数据量面试题_海量数据面试题集锦”。通过以下步骤来完成任务：
1. 数据预处理：生成海量数据
2. 数据读取：将海量数据按照合适的方式读取到内存中
3. 数据处理：对内存中的数据进行相应的处理
4. 数据结果输出：将处理后的结果输出
## 实现流程
```mermaid
flowch
原创
2023-09-28 17:51:23
53阅读
1.数组面试问题数组是最基本的数据结构，它将元素存储在连续的内存位置。这也是采访者的一个主要话题，你会在任何编码访谈中听到很多关于数组的问题，例如反转数组，排序数组或搜索数组中的元素。如何在给定的1到100的整数数组中找到缺失的数字？如何在给定的整数数组上找到重复的数字？如何在未排序的整数数组中找到最大和最小的数字？你如何找到所有对的整数数组，其总和等于给定的数字？如果数组包含多个重复项，如何在数
转载
2024-10-27 09:55:32
21阅读
当今时代，跳槽确实是大部分人升职加薪最快的方式，特别是职业生涯初期。说起来也是很无奈，公司经常是宁愿花更多的钱来请个新人也不愿意加薪留住老人。 面试了 N 多公司之后，我发现其实问来问去也就那几个知识点，所以干脆把热点知识系统性地总结了一下，共有 185 道题目，希望能够帮助各位为面试做足准备，完美应对面试官的各种灵魂拷问，一举拿下心仪 Offer ！ 这些面试题主要分为六个部
转载
2023-11-09 17:21:48
97阅读
面试官最爱问的Kakfa，基础+进阶+高级，疯狂轰炸！Kafka是一种高吞吐量的分布式发布订阅消息系统，它可以处理消费者规模的网站中的所有动作流数据。 这种动作(网页浏览，搜索和其他用户的行动)是在现代网络上的许多社会功能的一个关键因素。 这些数据通常是由于吞吐量的要求而通过处理日志和日志聚合来解决。 对于像Hadoop的一样的日志数据和离线分析系统，但又要求实时处理的限制，这是一个可行的解决方案
转载
2023-12-22 17:06:09
49阅读
# MongoDB 数据量有多大？
MongoDB 是一个流行的文档型数据库，被广泛应用于大数据处理和分析任务。那么，MongoDB 能够处理多大规模的数据呢？本文将介绍 MongoDB 处理大数据量的能力，并通过代码示例展示如何处理大数据。
## MongoDB 的数据处理能力
MongoDB 是一个高性能、灵活、可扩展的数据库系统，能够处理大规模的数据。其主要特点包括：
- **横向扩
原创
2024-06-20 04:37:17
54阅读
文章目录一.HashMapjdk7:数组+链表jdk8:数组+链表+红黑树jdk7和jdk8的对比如下二.面向对象的特征1.继承2.封装3.多态三.Error和Exception的区别四.说明Java中反射的实现过程和作用分别是什么五.HashMap和HashTable区别六.TreeSet和HashSet区别七.StringBuffer和StringBuilder的区别八.关键字final,f
转载
2023-08-05 15:56:59
148阅读
第一部分、十道海量数据处理面试题1、海量日志数据，提取出某日访问百度次数最多的那个IP。首先是这一天，并且是访问百度的日志中的IP取出来，逐个写入到一个大文件中。注意到IP是32位的，最多有个2^32个IP。同样可以采用映射的方法， 比如模1000，把整个大文件映射为1000个小文件，再找出每个小文中出现频率最大的IP（可以采用hash_map进行频率统计，然后再找出频率最大 的几个）及相应的频率
转载
2023-09-14 14:04:53
212阅读
2019已经到来，你是否在满意的公司？拿着理想的薪水？目前全国正处于招聘的高峰期，如果有面试题能提示一下，可以提前做个准备，也可以看出自己的不足之处，面试能拿到offer的机会就大的多，下面就是一些常见的大数据面试题，希望能够帮到大家：1.kafka集群的规模，消费速度是多少。答：一般中小型公司是10个节点，每秒20M左右。2.hdfs上传文件的流程。答：这里描述的 是一个256M的文件上传过程①
转载
2024-08-26 10:08:01
95阅读
1.String 和StringBuffer的区别
JAVA平台提供了两个类:String和StringBuffer，它们可以储存和操作字符串，即包含多个字符的字符数据这个String类提供了数值不可改变字符串而这个StringBuffer类提供的字符串进行修改当你知道字符数据要改变的时候你就可以使用StringBuffer典型地，你可以使用Strin
转载
2024-08-26 00:05:32
22阅读
以下为整理的自己秋招遇到的面试题；主要是Java和大数据相关题型；根据印象整理了下，有些记不起来了。死锁、乐观锁、悲观锁synchronized底层原理及膨胀机制ReetrantLock底层原理，源码是如何实现公平和非公平的synchronized和lock的区别volitale理解？volitale保证可见性的意义什么是指令重排序，为什么要禁止指令重排序介绍java中的基本数据类型及所占大小2的
转载
2024-08-27 20:51:51
38阅读
腾讯一面 试下 4月6日 挂1 自我介绍2 介绍一下你在项目中的承担的任务3 你对哪种语言熟悉4 线程池使用过吧，说说线程池中有哪些关键字 具体使用方法。5 说说hashMap 使用的是哪种数据结构，6说说hashMap 和 ConcurrentHashMap 的区别7为啥hashMap是线程不安全的？ 8锁机制怎么使用的？9如
转载
2024-05-07 11:18:34
61阅读
当需要从数据库查询的表有上万条记录的时候，一次性查询所有结果会变得很慢，特别是随着数据量的增加特别明显，这时需要使用分页查询。对于数据库分页查询，也有很多种方法和优化的点。下面简单说一下我知道的一些方法。准备工作为了对下面列举的一些优化进行测试，下面针对已有的一张表进行说明。表名：order_history描述：某个业务的订单历史表主要字段：unsigned int id，tinyint(4) i
转载
2023-04-27 01:34:16
61阅读
第一部分、十道海量数据处理面试题1、海量日志数据，提取出某日访问百度次数最多的那个IP。首先是这一天，并且是访问百度的日志中的IP取出来，逐个写入到一个大文件中。注意到IP是32位的，最多有个2^32个IP。同样可以采用映射的方法， 比如模1000，把整个大文件映射为1000个小文件，再找出每个小文中出现频率最大的IP（可以采用hash_map进行频率统计，然后再找出频率最大 的几个）及相应的频率
转载
2017-10-05 20:40:00
243阅读
2评论
JAVA对象模型
我们先了解一下，一个JAVA对象的存储结构。在Hotspot虚拟机中，对象在内存中的存储布局分为 3 块区域：对象头（Header）、实例数据（Instance Data）和对齐填充（Padding）。
转载
2023-07-18 21:35:46
66阅读
# 怎样查看MySQL数据量有多大
作为一名经验丰富的开发者，我将教会你如何查看MySQL数据量有多大。下面是整个过程的步骤概览：
| 步骤 | 描述 |
| --- | --- |
| 1 | 连接到MySQL数据库 |
| 2 | 选择目标数据库 |
| 3 | 查询数据量 |
接下来，我会逐步解释每个步骤应该怎么做，以及需要使用的代码和代码的注释。
## 1. 连接到MySQL数据库
原创
2023-11-16 07:02:48
58阅读
sql面试题(三)11.描述有一个员工表dept_emp简况如下:第一行表示为员工编号为10001的部门是d001部门。有一个部门经理表dept_manager简况如下:第一行表示为d001部门的经理是编号为10002的员工。获取所有的员工和员工对应的经理，如果员工本身是经理的话则不显示，以上例子如下:SELECT
t1.emp_no,
t2.emp_no manager
FROM
dept_em
转载
2024-02-21 16:42:15
72阅读
大数据的定义"Big Data"大数据是以容量大、取速度快、价值密度低为主要特征的数据集合，由于这些数据本身规模巨大、来源分散、格式多样，所以需要新的体系架构、技术、算法和分析方法来对这些数据进行采集、存储和关联分析，以期望能够从中抽取隐藏的有价值的信息。大数据的4V特性体量大(Volume):数据量大，包括采集、存储和计算的量都非常大。大数据的起始计量单位至少是P（1024个T）、E（100万个
转载
2023-11-29 14:09:00
63阅读
在MongoDB（版本 3.2.9）中，数据的分发是指将collection的数据拆分成块（chunk），分布到不同的分片（shard）上，数据分发主要有2种方式：基于数据块（chunk）数量的均衡分发和基于片键范围（range）的定向分发。MongoDB内置均衡器（balancer），用于拆分块和移动块，自动实现数据块在不同shard上的均匀分布。balancer只保证每个shard上的
转载
2024-08-06 08:17:02
92阅读
三面头条 面试岗位是后台研发工程师，地点选择了上海，通过大佬内推，跳过死亡笔试，加上疫情期间，所以直接视频面，从3点开始，断断续续到晚上8点结束。 一共三轮技术面试，每一轮都要写代码，也喜欢问一些底层知识，让我有点懵逼。 一面： 写一个题，找一个无序数组的中位数 写了个快排，然后让我找到无序数组第k ...
转载
2021-10-02 13:34:00
75阅读
2评论
