头条号上说过近期分享Spark SQL系列文章，前面在头条号上分享了Dataset API的基本操作和复杂操作，不知道下面大家有没有自己测试一下。今天主要是分享Spark SQL Dataset数据源的分区特性，而且是第一弹的数据格式是partquet。常见RDD分区Spark Core 中的RDD的分区特性大家估计都很了解，这里说的分区特性是指从数据源读取数据的第一个RDD或者Dataset的分
转载
2024-02-27 09:31:26
61阅读
MySQL是一种广泛使用的关系型数据库管理系统，被广泛用于各种Web应用程序的数据存储和管理。在实际应用中，当数据库中的数据量越来越大时，我们需要考虑一些性能优化的方法来提高查询速度和管理效率。其中之一就是使用MySQL的分区功能。本文将介绍MySQL分区的上限以及如何使用MySQL的分区功能来提高数据库性能。
## 什么是MySQL的分区功能？
MySQL的分区是一种把大表拆分成多个小表的技
原创
2024-02-02 11:37:38
145阅读
oracle学习： 普通表： 堆表。 分区表： 1、范围分区（range） 根据某个字段的值，以固定的范围作为一个分区来划分数据。例如按照日期字段分区 优点： 用户知道具体数据在哪个分区 &nbs
转载
2024-07-11 17:58:52
59阅读
使用Spring来管理Mybatis的对象概要Spring的基本原理控制反转工厂设计模式简单工厂：Spring 集成 Mybatis的使用pom.xml的配置（在前面的课程中追加）简化 mybatis-config.xml 配置在resources下新增一个 jdbc.properties 文件在resources下新增一个 spring.xml 文件新增PopSingerServiceImpl
作者：瀚高软件 杨杰简介PostgreSQL 10 是第一个支持内置声明式分区表的版本。支持 range、list 分区，与以前的版本相比，提供了显著的性能和易用性优势，但却忽略了许多功能特性和性能优化。PostgreSQL 11 为分区表功能提供更多的改进。这些特性包括：hash 分区、索引增强、DML改进，以及性能优化：faster partition pruning、run-time par
1、表分区的意义随着系统的使用，业务表的数据会变得越来越庞大，当达到一定程度时，会严重影响系统性能，将表分区，可以很好的解决这个问题。分区表的优点包括：（1）大大提高查询性能；对表分区后，查询时会根据相应的查询条件直接对子表进行查询。（2）插入、更新操作的性能更高；插入时，只对子表进行顺序扫描，比扫描整张表高效的多。（3）批量删除时，可以效率更高；对于不需要的数据，可以直接Drop掉整张子表。（4
摘要： 本文将用户安装 PyODPS 时遇到的常见问题列举如下，希望在遇到类似问题时可供借鉴。在参考下列步骤之前，请首先尝试卸载并重装 PyODPS。卸载的步骤为执行“pip uninstall pyodps”。本文将用户安装 PyODPS 时遇到的常见问题列举如下，希望在遇到类似问题时可供借鉴。在参考下列步骤之前，请首先尝试卸载并重装 PyODPS。卸载的步骤为执行“pip unins
转载
2024-10-24 19:13:12
12阅读
pg14场景下测试1 分区建议总结建表建议分区键离散，可以使用PARTITION BY LIST。按字符串匹配决定落入哪个分区。分区键连续，比如整形、日期等，可以使用PARTITION BY RANGE。分区键数据随机无规律或规律简单，可以使用PARTITION BY HASH，用hash函数打散数据。分区键数据随机有规律，规律复杂，可以使用多级混合分区，使数据平均分散、减少耦合。每个分区都是一个
转载
2024-05-31 16:39:19
332阅读
postgreSQL单表数据量上千万分页查询缓慢的优化方案故事要这样说起，王铁蛋是一个初入职场的程序猿，每天干的活就是实现各种简单的查询业务，但是铁蛋有一颗热爱技术的心，每天都琢磨着如何写出花式的增删改查操作。没错平凡的铁蛋的有着一个伟大的梦想，成为一名高级CRUDER。（一不小心激动了，开水倒进了我的花瓶）。 时间就这样一天天的流逝，铁蛋感觉不管自己的crud写的再花骚也不能达到高级cruder
注意事项： 1、为主从服务器添加新的系统用户并设置好密码； 2、主从服务器都开启SQL Server的代理服务，并设置为开机自动启动 3、在数据库配置管理其中把SQL Server服务和SQL Server的代理服务的登录信息设置为上边添加的系统用户，并设置好密
转载
2024-09-25 19:13:25
41阅读
一. postgre sql
1. rollup 分组聚合
2. REGEXP_SPLIT_TO_TABLE 分割函数
--regexp_split_to_table(trim(challenge_task_ids, '[]'), ',')::int as task_id
3. UNNEST(array[name1, name2]) 将一行转为一组用
4. sum() over() 累积
5.
原创
2021-07-09 17:07:51
783阅读
--设置当前数据库是master
use master
go
--查看是否存在Note数据库
if exists(select * from sysdatabases where name='MyNoteBook')
drop database MyNoteBook
create database MyNoteBook
on primary
(
name='MyNoteBook_data',
[Postgre SQL] Postgre SQL状态监控查询当前连接池状态SELECT * FROM pg_stat_activity WHERE datname = 'xx_xxxdb' AND application_name = 'PostgreSQL JDBC Driver' ORDER BY state_change DESC;正在运行的查询sql...
原创
2022-01-24 16:38:14
871阅读
[Postgre SQL] Postgre SQL数据库状态监控查询当前连接池状态SELECT * FROM pg_stat_activity WHERE datname = 'xx_xxxdb' AND application_name = 'PostgreSQL JDBC Driver' ORDER BY state_change DESC;正在运行的查询sql...
原创
2021-06-09 18:06:22
1236阅读
并行（Parallel）操作特性，是Oracle为更充分利用服务器硬件处理资源，提高特定大数据量操作效率，应对海量生产数据而推出的一种技术特性。通常，我们进行的SQL处理都是单进程操作，对应单个CPU操作单元。所谓的并行操作，就是在软硬件条件允许的情况下，Oracle调用多个处理单元分别进行处理，最后汇合结果的过程。对一些SQL进行有计划的并行操作，可以显著提高系统操作速度。 1、海量数
说一说，我们工作和面试最常被提问的也是最常用的操作—sql优化，老鸟和新手的最大差别就是在优化这方面，又要找工作了不得不整理一下知识重新出发。1.系统要求进行SQL优化，对效率比较低的SQL进行优化，使其运行效率更高，其中要求对SQL中的部分in/not in修改为exists/not exists修改方法如下： in的SQL语句SELECT
id, category_id, htmlfile
转载
2024-07-18 12:41:24
66阅读
一、PL/SQL条件控制和循环控制 PL/SQL程序可通过条件或循环结构来控制命令执行的流程。PL/SQL提供了丰富的流程控制语句，与Java一样也有三种控制结构： 顺序结构条件结构循环结构
条件控制：Java中的条件控制使用关键字if和switch。PL/SQL中关于条件控制的关键字有IF-THEN、IF-THEN-ELSE、IF-T
转载
2024-10-03 15:04:21
123阅读
在之前的两篇博文中 (微软云服务介绍 – SQL Server虚拟机(1), 微软云服务介绍 – SQL Server虚拟机(2) )，我们介绍了微软云服务中SQL Server虚拟机的搭建和管理。本文会给大家介绍如何在SQL Server虚拟机中搭建SQL Server AlwaysOn来实现高可用性。SQL Server 2012 中引入了 AlwaysOn 可用性组功能，此功能可最大程度地
转载
2024-10-28 23:17:53
20阅读
目录1 字符串截取1.1 left()1.2 right()1.3 mid()2 字符串连接2.1 concat()2.2 concat_ws()2.3 group_concat()3 字符串的其他操作3.1 len()与length()3.2 field()3.3 find_inset()3.4 ord()和ascii()3.5 upper()和lower()4 数值类型函数4.1 hex()
在之前的Loki操作方法系列中，我已经分享了创建快速过滤器查询的所有最佳技巧，这些查询可以在几秒钟内过滤掉TB级的数据。在本期中，我将介绍如何在Loki的LogQL中正确转义字符串中的特殊字符。在编写LogQL查询时，可能已经意识到，我们必须在多个地方编写用双引号分隔的字符串。对于标签匹配器，行过滤器，正则表达式和标签过滤器来说，这是没问题的，我们也在很多地方都使用双引号字符串。但是，当我们突然想
