mysql数据量大时使用limit分页，随着页码的增大，查询效率越低下。实验1.直接使用用limit start, count分页语句：select * from order limit start, count当起始页较小时，查询没有性能问题，我们分别看下从10， 100， 1000， 10000开始分页的执行时间(每页取20条)， 如下：select * from order limit 10
转载
2024-07-09 15:32:36
134阅读
本文主要是分享一些如何使用mongodb的api来检索文档，如还不了解mongodb，请快速参阅《入门手册》。目
原创
2023-07-13 14:51:04
184阅读
# 百万数据检索与MySQL
在实际开发中，我们通常会面临处理大量数据的情况，比如对百万条数据进行检索。在数据库中，MySQL是一个常用的关系型数据库管理系统，它提供了强大的数据存储和检索功能，可以帮助我们高效地处理大量数据。
## 检索百万数据的方法
### 1. 索引
在MySQL中，索引是一种数据结构，它可以帮助数据库系统快速地定位到需要的数据。当我们在表中创建索引后，查询数据将会变
原创
2024-03-30 06:12:48
96阅读
点击上方“朱小厮的博客”，选择“设为星标”后台回复"书"，获取后台回复“k8s
转载
2022-04-07 10:15:46
93阅读
前言数据平台已迭代三个版本，从头开始遇到很多常见的难题，终于有片段时...
转载
2021-07-18 19:01:15
281阅读
数据平台已迭代三个版本，从头开始遇到很多常见的难题，终于有片段时间整理一些已完善的文档，在此分享以供所需朋友的实现参考，少走些弯路，在此篇幅中偏重于ES的优化，关于HBase，Hadoop的设计优化估计有很多文章可以参考，不再赘述。
- 需求说明 -
项目背景：
在一业务系统中，部分表每天的数据量过亿，已按天分表，但业务上受限于按天查询，并且DB中只能保留3个月的数据(
转载
2021-09-05 15:49:39
147阅读
一、前言 数据平台已迭代三个版本，从头开始遇到很多常见的难题，终于有片段时间整理一些已完善的文档，在此分享以供所需朋友的实现参考，少走些弯路，在此篇幅中偏重于ES的优化，关于HBase，Hadoop的设计优化估计有很多文章可以参考，不再赘述。 二、需求说明 项目背景： 在一业务系统中，部分表每天的数 ...
转载
2021-09-24 13:59:00
146阅读
2评论
一、前言 数据平台已迭代三个版本，从头开始遇到很多常见的难题，终于有片段时间整理一些已完善的文档，在此分享以供所需朋友的 实现参考，少走些弯路，在此篇幅中偏重于ES的优化，关于HBase，Hadoop的设计优化估计有很多文章可以参考，不再赘述。 【目前生产已存储百亿数据，性能良好（但未使用分词功能）
转载
2022-10-17 09:36:28
136阅读
一、前言数据平台已迭代三个版本，从头开始遇到很多常见的难题，终于有片段时间整理一些已完善的文档，在此分享以供所需朋友的实现参考，少走些弯路，在此篇幅中偏重于ES的优化，关于HBase，Ha...
转载
2021-06-13 00:38:47
204阅读
mongodump和mongorestore实践1.mongodump备份工具mongodump能够在Mongodb运行时进行备份，它的工作原理是对运行的Mongodb做查询，然后将所有查到的文档写入磁盘。mongodump的参数与mongoexport的参数基本一致1.1 mongodump关键参数如下所示：mongodump --help查看帮助命令-h,--host ：代表远程连接的数据库地
转载
2024-10-15 22:27:00
91阅读
1. 简介在开发应用程序时，查询性能是非常重要的。MongoDB提供了一种查询优化和执行计划的机制，可以帮助我们优化查询性能并理解查询的执行过程。2. 查询优化查询优化是指通过调整查询方式和索引来提高查询性能。下面是一些常用的查询优化技术：2.1 索引索引是提高查询性能的常用工具。它可以加速查询的速度，减少数据的扫描量。在MongoDB中，可以通过createIndex()方法创建索引。索引可以是
一、前言数据平台已迭代三个版本，从头开始遇到很多常见的难题，终于有片段时间整理一些已完善的文档，在此分享以供所需朋友的实现参考，少走些弯路，在此篇幅中偏重于ES的优化，关于HBase，Hadoop的设计优化估计有很多文章可以参考，不再赘述。二、需求说明项目背景：在一业务系统中，部分表每天的数据量过亿，已按天分表，但业务上受限于按天查询，并且DB中只能保留3个月的数据(硬件高配)，分库代价较高。改进
转载
2021-03-27 23:24:54
137阅读
对于ES的性能，最多的关注点就是lucene的优化，能深入了解lucene原理对优化有很大的帮助。
转载
2021-06-21 17:52:31
171阅读
一、前言
数据平台已迭代三个版本，从头开始遇到很多常见的难题，终于有片段时间整理一些已完善的文档，在此分享以供所需朋友的
实现参考，少走些弯路，在此篇幅中偏重于ES的优化，关于HBase，Hadoop的设计优化估计有很多文章可以参考，不再赘述。
二、需求说明
项目背景：
在一业务系统中，部分表每天的数据量过亿，已按天分表，但业务上受限于按天查询，并且DB中只能保留3个月的数据(硬件高配)，分库代价
原创
2021-07-01 15:50:43
360阅读
一、前言 数据平台已迭代三个版本，从头开始遇到很多常见的难题，终于有片段时间整理一些已完善的文档，在此分享...
转载
2022-11-14 21:54:56
149阅读
一、前言数据平台已迭代三个版本，从头开始遇到很多常见的难题，终于有片段时间整理一些已完善的文档，在此分享以供所需朋友的实现参考，少走些弯路，在此篇幅中偏重于ES的优化，关于HBase，Hadoop的设计优化估计有很多文章可以参考，不再赘述。二、需求说明项目背景：在一业务系统中，部分表每天的数据量过亿，已按天分表，但业务上受限于按天查询，并且DB中只能保留3个月的数据(硬件高配)，分库代价较高。改进
转载
2020-12-18 21:53:04
296阅读
点赞
背景在目前所有的系统中，不管是何种架构都需要存储数据，常规的管
原创
2022-11-21 19:59:25
407阅读
一、前言数据平台已迭代三个版本，从头开始遇到很多常见的难题，终于有片段时间整理一些已完善的文档，在此分享以供所需朋友的实现参考，少走些弯路，在此篇幅中偏重于ES的优化，关于HBase，Hadoop的设计优化估计有很多文章可以参考，不再赘述。二、需求说明项目背景：在一业务系统中，部分表每天的数据量过亿，已按天分表，但业务上受限于按天查询，并且DB中只能保留3个月的数据(硬件高配)，分库代价较高。改进
转载
2021-04-22 14:23:51
300阅读
一、前言
数据平台已迭代三个版本，从头开始遇到很多常见的难题，终于有片段时间整理一些已完善的文档，在此分享以供所需朋友的实现参考，少走些弯路，在此篇幅中偏重于ES的优化，关于HBase，Hadoop的设计优化估计有很多文章可以参考，不再赘述。
二、需求说明
项目背景：
在一业务系统中，部分表每天的数据量过亿，已按天分表，但业务上受限于按天查询，并且DB中只能保留3个月的数据(硬件高配)，分库代
转载
2021-06-21 16:33:44
159阅读
数据平台已迭代三个版本，从头开始遇到很多常见的难题，终于有片段时间整理一些已完善的文档，在此分享以供所需朋友的实现参考，少走些弯路，在此篇幅中偏重于ES的优化。- 需求说明 ...
转载
2021-08-10 16:35:02
7996阅读
