作者：辛湜 在过去几年，Apache Spark的采用以惊人的速度增加着，通常被作为MapReduce后继，可以支撑数千节点规模的集群部署。在内存中数据处理上，Apache Spark比MapReduce更加高效已经得到广泛认识；但是当数据量远超内存容量时，我们也听到了一些机构在Spark使用上的困扰。因此，我们与Spark社区一起，投入了大量的精力做Spark稳定性、扩展性
高可用架构设计最核心的就是两点：解耦和冗余。解耦包括业务状态分离（无状态架构设计）、分库分表等。冗余包括缓存、CDN、主从备份、主主备份、GeoDNS 等。一个好的架构设计需要在产品迭代的不同阶段选择合适的技术，从而既能在合理的成本条件下有效保障当前的业务需求，又能考虑到业务下一步发展的可能性。持数亿用户的系统是一个巨大的挑战（不过在读了这篇文章后，也许就没那么难了）。以下是本文涉及的一些主题：从
转载
2023-07-10 20:32:02
35阅读
Hive环境搭建说明：因为之前写的hive2.3.6版本是基于hadoop2.7的，但是hadoop更新到hadoop3.2版本之后，再使用原来的版本就存在一些问题。于是怀疑是hive版本与hadoop版本不兼容造成的，于是下载了hive3.1.2，完整的走了一遍，具体步骤参照如下教程。（原来的hive2.3.6版本的教程应该也是可以用的，问题的解决办法与本文hive3.1.2的解决版本类同。）H
转载
2023-07-29 20:11:07
158阅读
一 、数据库语言定义及命令行查看数据库操作-- SQL 语言可以分为三类 -- DML： 数据操纵语言。（对标的 - 增 删 改 查） -- DDL：数据定义语言。（表的创建，删除，修改） -- DCL: 数据控制语言。（commit,rollback)命令行查看数据库 （也可以在客户端图形化界面操作）-- 查看数据库 SHOW DATABASES;-- 选择数据库 USE test; -- te
转载
2024-08-03 12:39:21
0阅读
亿级别G级别文本数据去重 文件总行数 字节数 去重后行数 [root@d mongoexport]# wc -l superpub-ask-question.csv126530681 superpub-ask-question.csv[root@d mongoexport]# awk '!a[$0]
转载
2018-12-17 16:19:00
162阅读
2评论
一、问题在好大夫在线内部，S3系统负责各业务方操作日志的集中存储、查询和管理。目前，该系统日均查询量数千万次，插入量数十万次。随着日志量的不断累积，主表已经达到数十亿，单表占用磁盘空间400G+。S3是业务早期就存在的系统，当时为了简单快速落地，使用了MySQL来存储，随着业务的不断增长，同时也要兼顾性能和可扩展性，到了必须要重新选型的时候了。新项目命名为：LogStore。二、目标1
转载
2024-08-16 19:11:39
130阅读
# MySQL 上亿级别的分类
在大数据时代，数据量的增长呈现出爆炸式的增长。对于数据库系统而言，如何处理上亿级别的分类数据是一个重要的挑战。本文将介绍如何使用MySQL来处理上亿级别的分类数据，并提供相应的代码示例。
## 背景
在很多应用场景下，我们需要对数据进行分类，以便更好地进行分析和处理。例如，在电商领域，我们需要对商品进行分类，以便用户可以方便地浏览和搜索商品。在新闻领域，我们需
原创
2023-10-20 15:20:08
64阅读
关于Execl导入大数据量文件的处理思路（实战经验）
Execl作为微软的早期产品，功能强大的同时，性能也相应的差很多，处理大数据量时
尤其明显。最近项目中有一个需求，要求导入人员信息，Execl的数据量大概5000左右，
但是会关联其他表，查询出100万级别的数据量，插入到值表。并且这个过程是系统管理
人员每月不定期在页面导入的。系统设计
转载
2023-11-26 19:25:01
69阅读
在MongoDB Scondary同步慢问题分析文中介绍了因Primary上写入qps过大，导致Secondary节点的同步无法追上的问题，本文再分享一个case，因oplog的写入被放大，导致同步追不上的问题。MongoDB用于同步的oplog具有一个重要的『幂等』特性，也就是说，一条oplog在备上重放多次，得到的结果跟重放一次结果是一样的，这个特性简化了同步的实现，Secondary不需要有
转载
2024-04-17 07:35:52
67阅读
目录一、Hadoop 框架计算特性二、优化常用手段三、排序选择四、怎样做笛卡尔积五、怎样写 in/exists 语句六、设置合理的 maptask 数量七、小文件合并八、设置合理的 reduceTask 的数量九、合并 MapReduce 操作十、合理利用分桶：Bucketing 和 Sampling十一、合理利用分区：Partition 十二、Join 优化十三、Group By 优化
每天给你诚意满满的干货作者：恒生研究院移动互联网时代，海量的用户数据每天都在产生，基于用户使用数据等这样的分析，都需要依靠数据统计和分析，当数据量小时，数据库方面的优化显得不太重要，一旦数据量越来越大，系统响应会变慢，TPS直线下降，直至服务不可用。可能有人会问，为何不用Oracle呢？确实，很多开发者写代码时并不会关心SQL的问题，凡是性能问题都交给DBA负责SQL优化，可是，不是每一个项目都会
Top 1亿级别的大量结果集排序、分组（group by）、分页(Limit)的优化问题资料：目前假如一个查询SQL跨越30个分片，每个分片上有1000万数据，则总数据规模为3亿，Select× from A orderby field1,field2 Limit 100000,100 即取出排序结果集中从100000到100000+100的这100个记录，所可能采用的一些算法优化...
原创
2022-05-16 21:09:08
120阅读
# MongoDB 单表亿级别数据查询耗时
## 1. 简介
在大数据时代，数据量庞大的情况下，如何高效地查询数据成为了一个挑战。MongoDB 是一个非常流行的 NoSQL 数据库，但在处理亿级别数据时，查询耗时成为了一个问题。本文将介绍 MongoDB 单表亿级别数据查询耗时的原因及优化方法。
## 2. 原因分析
在 MongoDB 中，当数据量达到亿级别时，查询耗时可能会增加的原因
原创
2024-03-10 04:42:05
453阅读
## 如何实现“Redis hgetall 千级别”操作
在现代的开发中，Redis 是一个广泛使用的高性能键值存储，特别是在处理高并发或大数据量时。在这篇文章中，我将向你说明如何实现“Redis hgetall 千级别”操作。我们将通过一个具体的步骤来清晰地理解这个过程。
### 整体流程
首先，我们需要明确实现的整体流程。下面的表格总结了步骤：
| 步骤 | 描述
文章目录技术思路1.容量换算2.拆分海量数据去重HashSetBitSet布隆过滤器Trie 字典树海量数据排序外部排序BitMap /BitSetTrie 字符串问题1：查找十亿个正整数中重复出现的一个数问题2：分割10亿个不重复的整数，查找中位数问题3：从亿个数中找出前K个最大的数问题4：对含有亿个正整数的文件，怎么将数字进行排序问题5：20G的文件，找出出现次数最多的数字 技术思路1.容量
转载
2023-12-06 20:51:50
268阅读
????推荐大家关注一个公众号???? "编程技术圈"后台回复“大礼包”有惊喜礼包！每日英文Anyone else have no right to judge you, they may have heard things, but they feel less than what you experienced.谁都无权评判你，他们也许听过你的事情，但他们感受不到你所经
转载
2022-03-30 15:49:45
55阅读
# 前言笔者是在两年前接手公司的财务系统的开发和维护工作。在系统移交的初期，笔者和团队就发现，系统内有一张5000W+的大表。跟踪代码发现，该表是用于存储资金流水的表格，关联着众多功能点，同时也有众多的下游系统在使用这张表的数据。进一步的观察发现，这张表还在以每月600W+的数据持续增长，也就是说，不超过半年，这张表会增长到1个亿！笔者内心：（麻了）这个数据量，对于mysql数据库来说是绝对无法继
转载
2023-06-03 02:03:32
1527阅读
MongoDB 公司俨然成为一家成功的公司。在2022年 9 月其市值达到 380 亿美元，有 3 万 7 千家客户。同时 MongoDB 建设了非常成熟的应用开发者生态。根据 MongoDB 官网，到目前为止，MongoDB 已经有 700 万应用开发者，每个月新增 14 万开发者。而建设一个成功的开发者生态对于一款基础设施软件的重要性，越来越取得了共识。我们看一下 MongoDB 在建设应用开
前言公司业务数据量很大，因为是面向全国的数据统计分析，所以一天大约是大几十万数据，因为最开始设计架构没有参与，当系统出现问题，去查看的时候发现数据库两个表一个三亿多，另一个十一亿。1.优化思路因为单表破亿执行sql现在都是问题了（delete语句根本执行不下去，还会锁数据），没办法我只想到了新建一个数据库并且对数据量大的表进行分区，然后定期删除数据库的分区，让数据库中只保留最近半年的数据。 考虑过
转载
2024-01-04 11:40:35
109阅读
Android平台提供了一种强大的机制，称为级别联动选择，用于在不同级别之间进行交互和选择。在Android 4级别联动选择中，开发人员可以利用这一机制实现更加灵活和智能的用户体验。本文将介绍Android 4级别联动选择的基本概念，以及如何在应用程序中实现级别联动选择。
## 什么是Android 4级别联动选择？
Android 4级别联动选择是一种通过选择一个级别，来影响或触发另一个级别
原创
2024-05-15 05:57:56
64阅读
