说一说，我们工作和面试最常被提问的也是最常用的操作—sql优化，老鸟和新手的最大差别就是在优化这方面，又要找工作了不得不整理一下知识重新出发。1.系统要求进行SQL优化，对效率比较低的SQL进行优化，使其运行效率更高，其中要求对SQL中的部分in/not in修改为exists/not exists修改方法如下： in的SQL语句SELECT
id, category_id, htmlfile
转载
2024-07-18 12:41:24
66阅读
优化策略本文会提到 52 条 SQL 语句性能优化策略。1、对查询进行优化，应尽量避免全表扫描，首先应考虑在 WHERE 及 ORDER BY 涉及的列上建立索引。2、应尽量避免在 WHERE 子句中对字段进行 NULL 值判断，创建表时 NULL 是默认值，但大多数时候应该使用 NOT NULL，或者使用一个特殊的值，如 0，-1 作为默认值。3
所以，查询优化器成为SQL Server中最重要的一个组件，并且影响着SQL Server的性能。选择正确或错误的执行计划意味着查询执行时间可能存在着毫秒的，几分钟，甚至几个小时之间的差异。 了解查询优化的内部机制，可以帮助DBA和开发人员能够编写更好的查询，或者给查询优化器提供信息使得它可以产生有效的执行计划。本系列文章讲述的查询优化器的内部运作的知识，此外，还会告诉你如何使用查询优化器的
转载
2023-09-12 10:58:48
75阅读
原理篇01–优化器与成本 优化器是数据库最核心的功能，也是最复杂的一部分。它负责将用户提交的SQL语句根据各种判断标准，制定出最优的执行计划，并交由执行器来最终执行。优化器算法的好坏、能力的强弱，直接决定了语句的执行效率。综合比较来说，Oracle的优化器是功能最强大的。当然，优化器本身是数据库系统中最为复杂的一个部分。 成本是优化器（基于成本的优化器）中反映 SQL语句执行代价的一个指标。优
转载
2023-08-30 22:54:20
145阅读
注意事项： 1、为主从服务器添加新的系统用户并设置好密码； 2、主从服务器都开启SQL Server的代理服务，并设置为开机自动启动 3、在数据库配置管理其中把SQL Server服务和SQL Server的代理服务的登录信息设置为上边添加的系统用户，并设置好密
转载
2024-09-25 19:13:25
41阅读
[Postgre SQL] Postgre SQL状态监控查询当前连接池状态SELECT * FROM pg_stat_activity WHERE datname = 'xx_xxxdb' AND application_name = 'PostgreSQL JDBC Driver' ORDER BY state_change DESC;正在运行的查询sql...
原创
2022-01-24 16:38:14
871阅读
总结了一点数据库优化的经验：提示：只有一点，还要继续学习解决方案：用 PreparedStatement， 一般来说比 Statement 性能高：一个 sql 发给服务器去执行，涉及步骤：语法检查、语义分析， 编译，缓存。有外键约束会影响插入和删除性能，如果程序能够保证数据的完整性， 那在设计数据库时就去掉外键。
（阿里开发手册强制规定 【强制】不得使用外键与级联，一切外键概念必须在应用层解决。
并行（Parallel）操作特性，是Oracle为更充分利用服务器硬件处理资源，提高特定大数据量操作效率，应对海量生产数据而推出的一种技术特性。通常，我们进行的SQL处理都是单进程操作，对应单个CPU操作单元。所谓的并行操作，就是在软硬件条件允许的情况下，Oracle调用多个处理单元分别进行处理，最后汇合结果的过程。对一些SQL进行有计划的并行操作，可以显著提高系统操作速度。 1、海量数
一. postgre sql
1. rollup 分组聚合
2. REGEXP_SPLIT_TO_TABLE 分割函数
--regexp_split_to_table(trim(challenge_task_ids, '[]'), ',')::int as task_id
3. UNNEST(array[name1, name2]) 将一行转为一组用
4. sum() over() 累积
5.
原创
2021-07-09 17:07:51
783阅读
--设置当前数据库是master
use master
go
--查看是否存在Note数据库
if exists(select * from sysdatabases where name='MyNoteBook')
drop database MyNoteBook
create database MyNoteBook
on primary
(
name='MyNoteBook_data',
[Postgre SQL] Postgre SQL数据库状态监控查询当前连接池状态SELECT * FROM pg_stat_activity WHERE datname = 'xx_xxxdb' AND application_name = 'PostgreSQL JDBC Driver' ORDER BY state_change DESC;正在运行的查询sql...
原创
2021-06-09 18:06:22
1234阅读
1.oracle的优化器 优化器（optimizer）是oracle数据库内置的一个核心子系统。优化器的目的是按照一定的判断原则来得到它认为的目标SQL在当前的情形下的最高效的执行路径，也就是为了得到目标SQL的最佳执行计划。依据所选择执行计划时所用的判断原则，oracle数据库里的优化器又分为RBO（基于原则的优化器）和CBO（基于成本的优化器，SQL的成本根据统计信息算出）两种。2.Orac
转载
2023-09-25 11:51:36
49阅读
一、SQL调优与查询优化器 数据库性能调优一般从发现、分析和解决SQL语句执行中的问题着手，这个过程统称为SQL调优（SQL tuning）。 1.了解查询优化器 例如，有些查询优化器对于连接操作，一般按连接对象在FROM子句中出现的先后次序进行连接。SQL程序设计者可以利用此特点将选择性高的小表放在前面，大表放在后面，以尽快淘汰无用的中间结果，从而节省查询处理开销。又如，有些查询优化器
转载
2024-01-06 07:44:59
74阅读
一、PL/SQL条件控制和循环控制 PL/SQL程序可通过条件或循环结构来控制命令执行的流程。PL/SQL提供了丰富的流程控制语句，与Java一样也有三种控制结构： 顺序结构条件结构循环结构
条件控制：Java中的条件控制使用关键字if和switch。PL/SQL中关于条件控制的关键字有IF-THEN、IF-THEN-ELSE、IF-T
转载
2024-10-03 15:04:21
123阅读
目录1 字符串截取1.1 left()1.2 right()1.3 mid()2 字符串连接2.1 concat()2.2 concat_ws()2.3 group_concat()3 字符串的其他操作3.1 len()与length()3.2 field()3.3 find_inset()3.4 ord()和ascii()3.5 upper()和lower()4 数值类型函数4.1 hex()
在之前的两篇博文中 (微软云服务介绍 – SQL Server虚拟机(1), 微软云服务介绍 – SQL Server虚拟机(2) )，我们介绍了微软云服务中SQL Server虚拟机的搭建和管理。本文会给大家介绍如何在SQL Server虚拟机中搭建SQL Server AlwaysOn来实现高可用性。SQL Server 2012 中引入了 AlwaysOn 可用性组功能，此功能可最大程度地
转载
2024-10-28 23:17:53
20阅读
在之前的Loki操作方法系列中，我已经分享了创建快速过滤器查询的所有最佳技巧，这些查询可以在几秒钟内过滤掉TB级的数据。在本期中，我将介绍如何在Loki的LogQL中正确转义字符串中的特殊字符。在编写LogQL查询时，可能已经意识到，我们必须在多个地方编写用双引号分隔的字符串。对于标签匹配器，行过滤器，正则表达式和标签过滤器来说，这是没问题的，我们也在很多地方都使用双引号字符串。但是，当我们突然想
1.小表、大表join
将key相对分散，并且小表放在join左边，减少内存溢出的几率，也可以用mapjoin让小表先进内存，在map端完成reduce。新版hive已经对这做了优化，大小表在join左边或者右边差不多2.大表join大表空key过滤
join操作在相同key数据太多时会将数据都发往相同的reducer上，导致内存不足。解析异常key，减少异常数据空key转换
如果空key对应的数
转载
2024-10-21 14:57:13
30阅读
介绍在数据库运维过程中，优化 SQL 是 DBA 团队的日常任务。例行 SQL 优化，不仅可以提升程序性能，还能够降低线上故障的概率。目前常用的 SQL 优化方式包括但不限于：业务层优化、SQL逻辑优化、索引优化等。其中索引优化通常通过调整索引或新增索引从而达到 SQL 优化的目的。索引优化往往可以在短时间内产生非常巨大的效果。如果能够将索引优化转化成工具化、标准化的流程，减少人工介入的
转载
2023-12-03 11:08:32
109阅读
Spark sql是Apache spark在即将发布的1.0版本的新特性。本文从SQL解析，分析器解析，查询优化到物理执行计划执行，结合spark core模块详细分析spark sql的实现细节。
Spark sql中，TreeNode贯穿始终，继承于TreeNode的有三类数据结构，分别为LogicalPlan，SparkPlan和Expression（LogicalPlan和Spa
转载
2024-06-04 08:11:06
47阅读
