作者：辛湜 在过去几年，Apache Spark的采用以惊人的速度增加着，通常被作为MapReduce后继，可以支撑数千节点规模的集群部署。在内存中数据处理上，Apache Spark比MapReduce更加高效已经得到广泛认识；但是当数据量远超内存容量时，我们也听到了一些机构在Spark使用上的困扰。因此，我们与Spark社区一起，投入了大量的精力做Spark稳定性、扩展性
高可用架构设计最核心的就是两点：解耦和冗余。解耦包括业务状态分离（无状态架构设计）、分库分表等。冗余包括缓存、CDN、主从备份、主主备份、GeoDNS 等。一个好的架构设计需要在产品迭代的不同阶段选择合适的技术，从而既能在合理的成本条件下有效保障当前的业务需求，又能考虑到业务下一步发展的可能性。持数亿用户的系统是一个巨大的挑战（不过在读了这篇文章后，也许就没那么难了）。以下是本文涉及的一些主题：从
转载
2023-07-10 20:32:02
35阅读
Hive环境搭建说明：因为之前写的hive2.3.6版本是基于hadoop2.7的，但是hadoop更新到hadoop3.2版本之后，再使用原来的版本就存在一些问题。于是怀疑是hive版本与hadoop版本不兼容造成的，于是下载了hive3.1.2，完整的走了一遍，具体步骤参照如下教程。（原来的hive2.3.6版本的教程应该也是可以用的，问题的解决办法与本文hive3.1.2的解决版本类同。）H
转载
2023-07-29 20:11:07
158阅读
一 、数据库语言定义及命令行查看数据库操作-- SQL 语言可以分为三类 -- DML： 数据操纵语言。（对标的 - 增 删 改 查） -- DDL：数据定义语言。（表的创建，删除，修改） -- DCL: 数据控制语言。（commit,rollback)命令行查看数据库 （也可以在客户端图形化界面操作）-- 查看数据库 SHOW DATABASES;-- 选择数据库 USE test; -- te
转载
2024-08-03 12:39:21
0阅读
亿级别G级别文本数据去重 文件总行数 字节数 去重后行数 [root@d mongoexport]# wc -l superpub-ask-question.csv126530681 superpub-ask-question.csv[root@d mongoexport]# awk '!a[$0]
转载
2018-12-17 16:19:00
162阅读
2评论
# MySQL 上亿级别的分类
在大数据时代，数据量的增长呈现出爆炸式的增长。对于数据库系统而言，如何处理上亿级别的分类数据是一个重要的挑战。本文将介绍如何使用MySQL来处理上亿级别的分类数据，并提供相应的代码示例。
## 背景
在很多应用场景下，我们需要对数据进行分类，以便更好地进行分析和处理。例如，在电商领域，我们需要对商品进行分类，以便用户可以方便地浏览和搜索商品。在新闻领域，我们需
原创
2023-10-20 15:20:08
64阅读
关于Execl导入大数据量文件的处理思路（实战经验）
Execl作为微软的早期产品，功能强大的同时，性能也相应的差很多，处理大数据量时
尤其明显。最近项目中有一个需求，要求导入人员信息，Execl的数据量大概5000左右，
但是会关联其他表，查询出100万级别的数据量，插入到值表。并且这个过程是系统管理
人员每月不定期在页面导入的。系统设计
转载
2023-11-26 19:25:01
69阅读
目录一、Hadoop 框架计算特性二、优化常用手段三、排序选择四、怎样做笛卡尔积五、怎样写 in/exists 语句六、设置合理的 maptask 数量七、小文件合并八、设置合理的 reduceTask 的数量九、合并 MapReduce 操作十、合理利用分桶：Bucketing 和 Sampling十一、合理利用分区：Partition 十二、Join 优化十三、Group By 优化
每天给你诚意满满的干货作者：恒生研究院移动互联网时代，海量的用户数据每天都在产生，基于用户使用数据等这样的分析，都需要依靠数据统计和分析，当数据量小时，数据库方面的优化显得不太重要，一旦数据量越来越大，系统响应会变慢，TPS直线下降，直至服务不可用。可能有人会问，为何不用Oracle呢？确实，很多开发者写代码时并不会关心SQL的问题，凡是性能问题都交给DBA负责SQL优化，可是，不是每一个项目都会
Top 1亿级别的大量结果集排序、分组（group by）、分页(Limit)的优化问题资料：目前假如一个查询SQL跨越30个分片，每个分片上有1000万数据，则总数据规模为3亿，Select× from A orderby field1,field2 Limit 100000,100 即取出排序结果集中从100000到100000+100的这100个记录，所可能采用的一些算法优化...
原创
2022-05-16 21:09:08
120阅读
## 如何实现“Redis hgetall 千级别”操作
在现代的开发中，Redis 是一个广泛使用的高性能键值存储，特别是在处理高并发或大数据量时。在这篇文章中，我将向你说明如何实现“Redis hgetall 千级别”操作。我们将通过一个具体的步骤来清晰地理解这个过程。
### 整体流程
首先，我们需要明确实现的整体流程。下面的表格总结了步骤：
| 步骤 | 描述
文章目录技术思路1.容量换算2.拆分海量数据去重HashSetBitSet布隆过滤器Trie 字典树海量数据排序外部排序BitMap /BitSetTrie 字符串问题1：查找十亿个正整数中重复出现的一个数问题2：分割10亿个不重复的整数，查找中位数问题3：从亿个数中找出前K个最大的数问题4：对含有亿个正整数的文件，怎么将数字进行排序问题5：20G的文件，找出出现次数最多的数字 技术思路1.容量
转载
2023-12-06 20:51:50
262阅读
# 前言笔者是在两年前接手公司的财务系统的开发和维护工作。在系统移交的初期，笔者和团队就发现，系统内有一张5000W+的大表。跟踪代码发现，该表是用于存储资金流水的表格，关联着众多功能点，同时也有众多的下游系统在使用这张表的数据。进一步的观察发现，这张表还在以每月600W+的数据持续增长，也就是说，不超过半年，这张表会增长到1个亿！笔者内心：（麻了）这个数据量，对于mysql数据库来说是绝对无法继
转载
2023-06-03 02:03:32
1527阅读
????推荐大家关注一个公众号???? "编程技术圈"后台回复“大礼包”有惊喜礼包！每日英文Anyone else have no right to judge you, they may have heard things, but they feel less than what you experienced.谁都无权评判你，他们也许听过你的事情，但他们感受不到你所经
转载
2022-03-30 15:49:45
53阅读
前言公司业务数据量很大，因为是面向全国的数据统计分析，所以一天大约是大几十万数据，因为最开始设计架构没有参与，当系统出现问题，去查看的时候发现数据库两个表一个三亿多，另一个十一亿。1.优化思路因为单表破亿执行sql现在都是问题了（delete语句根本执行不下去，还会锁数据），没办法我只想到了新建一个数据库并且对数据量大的表进行分区，然后定期删除数据库的分区，让数据库中只保留最近半年的数据。 考虑过
转载
2024-01-04 11:40:35
109阅读
# Android 音量调整 15级别
在Android系统中，我们经常需要调整设备的音量大小。Android系统提供了一套音量控制的API，使我们可以轻松地调整音量。在本篇文章中，我将介绍如何使用Android系统提供的API来调整音量，同时还会介绍一种常用的调整音量的方法。
## 调整音量的方法
在Android系统中，音量被分为了15个级别。我们可以使用`AudioManager`类来
原创
2023-12-13 12:08:39
587阅读
# 实现Redis Hash 10万级别的步骤
## 简介
Redis是一种内存数据结构存储系统，它支持各种数据结构，包括字符串、列表、集合、有序集合和哈希等。在Redis中，哈希数据结构是一种非常常用的数据结构，可以在O(1)时间复杂度内完成插入、删除和查找操作。本文将介绍如何使用Redis的哈希数据结构来实现10万级别的数据存储。
## 流程概览
下表展示了实现Redis Hash 10万
原创
2023-10-12 05:28:06
92阅读
Android平台提供了一种强大的机制，称为级别联动选择，用于在不同级别之间进行交互和选择。在Android 4级别联动选择中，开发人员可以利用这一机制实现更加灵活和智能的用户体验。本文将介绍Android 4级别联动选择的基本概念，以及如何在应用程序中实现级别联动选择。
## 什么是Android 4级别联动选择？
Android 4级别联动选择是一种通过选择一个级别，来影响或触发另一个级别
原创
2024-05-15 05:57:56
64阅读
当表的数据达到亿级别时，使用 SELECT COUNT(*) FROM table 会变得特别慢，主要是因为以下几个原因： 全表扫描：SELECT C
原创
2023-11-01 09:30:31
189阅读
1、背景魔笛活动平台目前在采集每个活动的用户行为数据并进行查询，解决线上问题定位慢，响应不及时的问题，提升客诉的解决效率。目前每天采集的数据量5000万+，一个月的数据总量15亿+，总数据量40亿+，随着接入的活动越来越多，采集上报的数据量也会越来越大。目前采用ClickHouse来存储数据，可以在秒级别内处理数十亿条数据，能够达到50MB-200MB/s的写入吞吐能力，按照每行100Byte估算
原创
2024-01-11 10:42:18
256阅读
