MySQL数据库 - SQL基础和入门目录MySQL数据库 - SQL基础和入门1. MySQL基础和SQL入门1.1 DDL操作 - 数据库1.1.1 创建数据库1.1.2 查看/选择数据库1.1.3 修改数据库1.1.4 删除数据库1.2 DDL操作 - 数据表1.2.1 MySQL常见数据类型1.2.2 MySQL详细数据类型1.2.3 创建表1.2.3.1 格式：1.2.3.2 快速创建结
优雅地使用pt-archiver进行数据归档
转载
2021-07-30 11:18:16
1613阅读
点赞
# 使用Mysql进行数据对比
## 一、流程概览
以下是使用Mysql进行数据对比的整体流程：
```mermaid
gantt
title 数据对比流程
dateFormat YYYY-MM-DD
section 完成任务
数据准备 :done, 2022-01-01, 3d
数据导入Mysql :done, after 数据准备, 2
原创
2024-05-11 06:49:05
73阅读
一、引言 最近由于业务需求，需要将公有云RDS（业务库）的大表数据归档至私有云MySQL（历史库），以缩减公有云RDS的体积和成本
转载
2024-01-22 14:50:01
131阅读
简介：mysql 日志slow log和 error log归档，发现还挺麻烦的。因为如果是大文件的话，比如大于200g，如果直接copy的话，就会把IO打满，影响mysql的生产业务。一 、安全清理mysql 日志文件脚本首先处理掉大的日志文件，因为logrotate轮转时是先copy，然后再清理日志文件，会打满磁盘IO。1、把日志文件slow log和error log重命名；2、然后进入my
转载
2024-02-09 22:01:10
81阅读
数据库存储引擎是数据库底层软件组织，数据库管理系统(DBMS)使用数据引擎进行创建、查询、更新和删除数据。不同的存储引擎提供不同的存储机制、索引技巧、锁定水平等功能，使用不同的存储引擎，还可以 获得特定的功能。现在许多不同的数据库管理系统都支持多种不同的数据引擎。MySql的核心就是存储引擎。存储引擎查看MySQL给开发者提供了查询存储引擎的功能，我这里使用的是MySQL5.1，可以使用：SHOW
转载
2024-01-12 12:01:58
102阅读
# MySQL数据归档的实现指南
## 引言
数据归档是数据库管理中的一项重要任务。随着业务的发展，原始数据逐渐增多，不仅占用存储空间，还可能影响查询性能。因此，定期将不再需要频繁访问的数据移至归档表中是一个很好的选择。在这篇文章中，我将向你介绍如何在MySQL中实现数据归档的过程。
## 流程概述
在开始之前，让我们先概述一下数据归档的实施流程。以下是一个简单的步骤列表：
| 步骤 | 描
原创
2024-10-27 05:19:31
37阅读
通过sklearn源码，我们可以看到除训练，预测和评估以外，处理其他工作的类都实现了3个方法：fit、transform和fit_transform。
原创
2022-04-07 16:16:18
156阅读
# 如何使用Spark进行数据探索
数据探索是数据分析过程中的第一步，主要目的是理解数据的结构、特征及潜在模式。Apache Spark是一个强大的分布式计算框架，广泛应用于大数据处理和分析。本文将详细介绍如何使用Spark进行数据探索，包括安装配置、数据加载、基本数据处理，以及一些常用的探索性数据分析(EDA)技术，最后附带代码示例。
## 一、安装和配置Apache Spark
在开始之
数据分析入门与实战 公众号： weic2c1.1 数据挖掘的步骤 数据挖掘通常包括数据采集，数据分析，特征工程，训练模型，模型评估等步骤。使用sklearn工具可以方便...
转载
2021-10-25 14:26:36
138阅读
1.1 数据挖掘的步骤 数据挖掘通常包括数据采集，数据分析，特征工程，训练模型，模型评估等步骤。使用sklearn工具可以方便地进行特征工程和模型训练工作，在《使用sklearn做单机特征工程》中，我们最后留下了一些疑问：特征处理类都有三个方法fit、transform和fit_transform，fit方法居然和模型训练方法fit同名(不光同名，参数列表都一样)，这难道都是巧合? 显然，这不是巧
转载
2022-04-24 10:18:58
144阅读
前言随着业务量的增长，存储在 MySQL 中的数据日益剧增达到千万及上亿数据量，这就导致跟其 Join 的表的 SQL 变得很慢，对应用接口的 response time 也变长了，影响了用户体验。一般常见增长量巨大的表都是一些记录、日志类型数据，只需要保留 2 到 3 月。此时需要对表做数据清理实现瘦身。那么这么大的数据如何进行删除，而不影响数据库的正常使用呢？如何进行删除？都有哪些方案？根据前
转载
2023-12-02 20:03:30
81阅读
适合刚接触SQL的童鞋～
原创
2022-08-26 14:10:05
154阅读
# SkyWalking 使用 MySQL 进行数据存储的科普文章
## 引言
Apache SkyWalking 是一种开源的应用性能监控（APM）解决方案，广泛应用于微服务、云原生及容器环境中。其可扩展性和灵活性使得 SkyWalking 成为开发者监控和优化应用的重要工具。本文将探讨如何将 SkyWalking 的数据存储配置为 MySQL，并给出详细的代码示例和实施流程。
## Sk
性能优化：完成某件任务所需的时间度量。性能剖析性能剖析是测量和分析时间花费在哪里的主要方法。性能剖析一般有两个步骤：测量任务所花费的时间；然后对结果进行统计和排序，将重要的任务排到前面。性能剖析工具show status、show profile、检查慢查询日志的条目、show processlist;性能低下的原因资源被过度使用，余量已经不足以正常工作； 资源没有被正确配置； 资源已经被损坏或者
转载
2024-07-24 10:47:13
47阅读
MySQL十二：数据管理外键：方式一：在创建表的时候，增加约束（麻烦、比较复杂）CREATE
原创
2022-10-20 10:12:30
60阅读
像Excel一样使用SQL进行数据分析Excel是数据分析中最常用的工具 ，利用Excel可以完成数据清洗，预处理，以及最常见的数据分类，数据筛选，分类汇总，以及数据透视等操作，而这些操作用SQL一样可以实现。作者：佚名 收藏 分享Excel是数据分析中最常用的工具 ，利用Excel可以完成数据清洗，预处理，以及最常见的数据分类，数据筛选，分类汇总，以及数据透视等操
转载
2024-08-26 15:35:11
138阅读
# mysql数据备份方案
## 问题描述
在开发过程中，经常会遇到需要备份数据库的情况。我们希望能够编写一个简单的脚本来实现mysql数据备份的功能，以便在需要的时候快速恢复数据。
## 解决方案
### 1. 创建备份目录
首先，我们需要创建一个用于存放备份文件的目录。我们可以在服务器上选择一个合适的位置，比如`/backup`目录。
```bash
$ mkdir /backup
原创
2024-02-03 08:58:27
63阅读
在使用mysql的过程中，经常会听到mysql具有数据恢复能力，当我们在业务开发中误删了某些数据后，可以将数据库恢复到误删之前的状态。同时还具有故障恢复能力，当数据库所在的机器突然掉电停机后，mysql也可以保证数据一致性。同时对数据库中事务比较了解的小伙伴也知道，在可重复读的事务隔离级别下，可以支持快照读。在赞叹mysql这么强大的能力时，你可曾想过他是怎么实现的吗？其实上面这些功能实现的背后，
转载
2023-10-04 07:50:21
40阅读
如何使用Doris进行数据分析
在数据驱动的时代，能够高效地进行数据分析是非常重要的，而Apache Doris作为一种新兴的实时分析数据库，因其出色的性能和灵活的使用方式，吸引了越来越多的开发者和数据分析师的关注。在本篇文章中，我将深入探讨如何通过Doris进行数据分析的过程，包括问题背景、错误现象、根因分析、解决方案、验证测试和预防优化，帮助读者对数据分析有更全面的了解。
### 问题背景
