昨天客户的DBA反映有一个数据抽取的任务持续了很长时间最后超时退出了，让我看看有什么地方可以调优一下。
找到了对应的日志，发现在一个大表抽取的时候，抽取持续了将近7个小时，最后超时退出了。对于这个问题，有以下几个方面需要考虑一下。
1）为什么这个问题之前没有发现过
2）是否是由某些变化导致了这个问题
3）这个问题的调优方向
这个数据抽取的服务之前一直没有问题，抽
索引（index）1. 作为名词： 索引（index）指我们在 ES 中用来存放 doc 的一个库，类似数据库系统的 DB 概念。2. 作为动词： 指把数据经过分析并存放到 ES 中形成索引（名词概念）的过程。在 Lucene 里，索引是指把文档（Document）经过分析（Analyzed）并创建倒排索引的过程。是一系列的操作步骤。 查询（query）查询一般指具体的查询条件，比如："
转载
2024-03-28 19:01:38
56阅读
索引的基本概念 索引是一种特殊类型的数据库对象，它与表有着密切的联系。索引是为检索而存在的。如一些书籍的末尾就专门附有索引，指明了某个关键字在正文中的出现的页码位置，方便我们查找，但大多数的书籍只有目录，目录不是索引，只是书中内容的排序，并不提供真正的检索功能。可见建立索引要单独占用空间；索引也并不是必须要建立的，它们只是为更好、更快
转载
2024-03-26 12:25:34
33阅读
一 什么是索引1）概念索引就相当于一本书的目录，通过目录可以快速的找到对应的资源。2）检索的方式在数据库方面，查询一张表有两种检索方式：
第一种：全表扫描
第二种：根据索引检索(效率很高）3）索引提高效率的原因最根本的原因就是缩小了扫描的范围。就像用字典的目录，可以快速定位。4）索引的使用索引虽然可以提过检索效率，但是不能随意添加索引，因为索引也是在数据库中的对象，也需要数据库不断的维护，是有
转载
2024-03-20 21:52:02
151阅读
1.索引是什么MySQL官方对索引的定义为：索引（Index）是帮助MySQL高效获取数据的数据结构。
可以得到索引的本质：**索引是数据结构**。你可以简单理解为“排好序的快速查找数据结构”。
数据本身之外，数据库还维护着一个满足特定查找算法的数据结构，这些数据结构以某种方式指向数据，
这样就可以在这些数据结构的基础上实现高级查找算法，这种数据结构就是索引。
一般来说索引本身也很大，不可能全
转载
2024-03-28 10:54:04
190阅读
nrf52832 学习笔记（四）蓝牙主机扫描从机发出广播后就需要主机进行扫描了，主机扫描之前和从机一样，也需要协议栈初始化、GAP初始化、GATT初始化，这些和从机类似，参考 nrf52832 学习笔记（三）蓝牙从机广播即可。扫描初始化扫描初始化主要初始化扫描的四个参数：扫描模式、扫描间隔、扫描窗口、扫描持续时间。/**@brief 扫描事件回调函数
*
* @param[in] p_sc
转载
2023-10-26 09:54:55
291阅读
1.2.3.1 访问表的方法Oracle数据库中直接访问表中数据的方法有两种：一种是全表扫描；另一种是ROWID扫描。1.2.3.1.1 全表扫描全表扫描是指Oracle在访问目标表里的数据时，会从该表所占用的***个区(EXTENT)的***个块(BLOCK)开始扫描，一直扫描到该表的高水位线(HWM，High Water Mark)，这段范围内所有的数据块Oracle都
转载
2024-06-30 07:16:46
26阅读
二维码介绍： 二维码（QR(Quick Response)code），又称二维条码，最早起源于日本。它是用特定的几何图形按一定规律在平面（二维方向）上分布的黑白相间的图形，是所有信息数据的一把钥匙。二维码是一种比一维码更高级的条码格式。一维码只能在一个方向（一般是
转载
2024-05-24 21:29:40
11阅读
文章目录1. ble扫描类别1.1 Passive Scanning — 被动扫描1.2 Active Scanning — 主动扫描2.ble 扫描参数配置3.ble扫描得到结果数据 1. ble扫描类别蓝牙扫描想必是蓝牙使用者最常操作的动作吧，那大家了解传统扫描和BLE扫描的区别吗？本篇我们就简单聊聊BLE扫描(scan)那点事。传统扫描：Inquiry，扫描周围环境中的BR/EDR蓝牙设备
转载
2023-09-15 20:19:18
300阅读
一、扫描BLE设备传统蓝牙虽然历史悠久，但它的缺陷也很明显，包括但不限于下列几点：（1）需要两部设备配对之后才能继续连接，而且连接速度也慢；（2）连接之后就一直保持传输链路，很消耗电能；（3）数据传输的有效距离不到10米，导致使用场景受限；为解决传统蓝牙的上述痛点，蓝牙技术联盟制定了低功耗蓝牙技术（BLE），因为BLE采取非常快速的连接方式，所以平时处于非连接的状态，此时链路两端仅仅只是知晓对方，
转载
2023-08-20 17:52:30
369阅读
数据库索引，是数据库管理系统中一个排序的数据结构，以协助快速查询、更新数据库表中数据。索引的实现通常使用B树及其变种B+树。在数据之外，数据库系统还维护着满足特定查找算法的数据结构，这些数据结构以某种方式引用（指向）数据，这样就可以在这些数据结构上实现高级查找算法。这种数据结构，就是索引。为表设置索引要付出代价的：一是增加了数据库的存储空间，二是在插入和修改数据时要花费较多的时间(因为索引也要随之
转载
2024-03-14 06:21:01
55阅读
扫盲 蓝牙有传统蓝牙(3.0以下)和低功耗蓝牙（ble，又称蓝牙4.0）之分android手机必须系统版本4.3及以上才支持BLE API。低功耗蓝牙较传统蓝牙， 传输速度更快，覆盖范围更广，安全性更高，延迟更短，耗电极低等等优点，这也是为什么近年来智能穿戴的东西越来越多，越来越火传统蓝牙与低功耗蓝牙通信方式也有所不同，传统的一般通过socket方式，而低功耗蓝牙是通过Gatt协议来实现低功耗蓝
转载
2024-05-08 18:22:36
40阅读
本文涉及如下BLE问题：BLE设备是如何被发现的如何快速的找到BLE设备或者如何降低广播阶段的功耗BLE广播通道/频道(channle)上的PDU1. 广播的目的 让别人能发现自己，对于一个不广播的设备，周围设备感觉不到其存在的，因此，要让别的设备能发现，则必须向外广播，在广播中可以带上丰富的数据，比如设备的能力，设备名字以及其他自定义的数据，这也就有了第二种可能。给不需要建立连接的应用
转载
2023-10-26 07:30:28
320阅读
WiFi无线连接过程中有哪几个主要步骤？[1]在使用WIFI功能时，经常性的操作是打开手机上的WiFi设备，搜索到心目中的热点，输入密码，联网成功，成功上网。这个看似简单的过程，背后却是隐藏着大量的无线通信技术。用几个专业术语来表示这个过程，分别是：扫描（Scanning）、认证（Authentication）、关联（Association）。[2]扫描（Scanning）：专业术语中的扫描可以简
转载
2023-10-31 19:38:15
180阅读
一、EXPLAIN简介通过EXPLAIN，我们可以分析出以下结果： 表的读取顺序 数据读取操作的操作类型 哪些索引可以使用 哪些索引被实际使用 表之间的引用 每张表有多少行被优化器查询二、执行计划各字段含义1、id2、select_type3、typesystem # 表只有一行记录
const # 表示通过索引一次就找到了
eq_ref # 唯一性索引扫描， 对于每个索引键，
转载
2024-03-21 14:57:10
87阅读
全表扫描（Full Table Scans, FTS）全表扫描是指Oracle在访问目标表里的数据时，会从该表所占用的第一个区（EXTENT）的第一个块（BLOCK）开始扫描，一直扫描到该表的高水位线（HWM，High Water Mark），Oracle会对这期间读到的所有数据施加目标SQL的where条件中指定的过滤条件，最后只返回那些满足过滤条件的数据。不是说全表扫描不好，事实上Oracle
转载
2024-03-19 17:53:36
42阅读
一、索引（1）什么是索引？ 1：举例来讲就是：索引相当于字典的音序表，如果要查某个字，如果不使用音序表，则需要从几百页中逐页去查。（2） 索引的优劣势 （1）索引的 优势：可以快速检索，减少 I/O 次数，加快检索速度；根据索引分组和排序，可以加快分组和排序。 （2）索引的 劣势：索引本身也是表，因此会占用存储空间，一般来说，索引表占用的空间是数据表的 1.5 倍；索引表的维护和创建需要时间成本，
转载
2024-04-01 06:26:57
43阅读
采用高速全扫描索引（index ffs） 为了避免全表扫描参考原始：
Index Fast Full Scan Usage To Avoid Full Table Scans (Doc ID 70135.1)可适用：
Oracle Database - Enterprise Edition - Version 7.3.0.0 to 11.2.0.3 [Release 7.3.0 to 11.2
全表扫描是Oracle访问数据库表是较为常见的访问方式之一。很多朋友一看到SQL语 句执行计划中的全表扫描，就要考虑对其进行修理一番。全表扫描的存在，的确存在可能优化的余地。但事实上很多时候全表扫描也并非是最低效的，完全要看不同 的情形与场合，任一方式都是有利有弊的，也就是具体情况要具体分析。本文描述了什么是全表扫描以及何时发生全表扫描，何时全表扫描才低效。本文涉及到的相关链接：1、什么是全表扫描
转载
2024-05-07 14:01:43
61阅读
通过 EXPLAIN 浅析数据库查询优化方法EXPLAIN 思维导图知识点explain 或者 desc 命令获取Myswl如何执行SELECT语句的信息，包括在SELECT语句执行过程中表如何连接和连接的顺序。index：这种类型表示是mysql会对整个该索引进行扫描。要想用到这种类型的索引，对这个索引并无特别要求，只要是索引，或者某个复合索引的一部分，mysql都可能会采用index类型的方式
转载
2024-03-25 20:22:36
175阅读
