说来和MySQL倒是有缘，毕业的第一份工作就被分配到了RDS团队，主要负责把MySQL弄到云上做成数据库服务。虽说整天和MySQL打交道，但说实话那段时间并没有很深入的理解MySQL内核，做的事情基本都是围绕着MySQL做管控系统，比较上层。好在周边都是MySQL内核神级人物，在他们的熏陶下多多少少对MySQL的一些基本知识有一些零碎的记录和模糊的认识，这些基础对于今天整理理解MySQL
转载
2024-10-09 15:05:03
15阅读
昨天重温h2 database的文档时，看到一个一直被我无视的命令create linked table！仔细研究后发现这绝对是一个NB的功能：可实现跨不同类型数据库的连接查询！按照官方文档的介绍，create linked table可以创建一张表，链接到任何支持JDBC的外部数据库中的表。执行简单查询(无join语句)时，会自动将查询语句发送给外部数据库；如果有join语句，这查询语句会被自动
转载
2024-07-21 18:07:49
100阅读
Mysql是主流的开源关系型数据库，提供高性能的数据存储服务。在做后端开发时，有时会遇到性能瓶颈，这些瓶颈有时并不是来自应用本身，而是来自数据库层面。所以所以掌握Mysql的一些底层原理有助于我们更好地理解Mysql，对Mysql进行性能调优，从而开发高性能的后端服务。1、mysql的逻辑框架mysql逻辑框架图如下：最上层是处理客户端过来的连接的。主要做连接处理、授权认证、安全等。Mysql在这
ForeSpider数据采集软件之链接抽取前嗅ForeSpider数据采集软件是一款通用性互联网数据采集软件，软件几乎可以采集互联网上所有公开的数据，通过可视化的操作流程，从建表、过滤、采集到入库一步到位。同时软件内置了强大的爬虫脚本语言。如果有通过可视化采集不到的内容，都可以通过简单几行代码，实现强大的脚本采集。很多用户说可视化的操作太简单，一定要看软件脚本的教程，所以今天给大家出一个爬虫脚本的
RDD分布式计算需要:分区控制Shuffle控制数据存储\序列化\发送数据计算API等一系列功能这些功能, 不能简单的通过python内置的本地集合对象(如List\字典等)去完成, 我们在分布式框架中, 需要有一个统一的数据抽象对象, 来实现上述分布式计算所需要功能, 这个抽象对象, 就是RDD.RDD定义:RDD叫做弹性分布式数据集, 是spark中最基本的数据抽象, 代表一个不可变, 可分区
一、MyISAM 与 InnoDB(5.5) 的区别MyISAM 性能极佳，提供了大量的特性，包括全文索引、压缩、空间函数等，但不支持事务和行级锁，最大的缺陷就是崩溃后无法安全恢复。不过，5.5之后 InnoDB(事务性数据库引擎)成为 MySQL默认的存储引擎。MyISAM 适合 select 密集型的表，而 InnoDB 适合 insert 和 update 密集型的表。两者对比：1️⃣Inn
第一章 简介1.1 数据抽取核心问题数据抽取是数据仓库技术中最谨慎的工作，因为其涉及到其它正式系统，成功的数据抽取必须保证对正式系统影响足够小，同时数据抽取性能足够好。这样就有如下结构性建设建议：n 链接正式系统用户只有查询权限，并且数据库链接用户及密码保密。我们公司
# 实时抽数与MONGODB实时抽数
在现代数据分析和处理中，实时获取数据变得越来越重要。而MONGODB数据库也可以提供实时抽数的功能，让用户可以及时获取数据库中的数据。本文将介绍如何在MONGODB中实现实时抽数，并提供代码示例作为参考。
## 什么是实时抽数？
实时抽数是指在数据产生或数据变化的瞬间立即获取数据的过程。在MONGODB中，可以通过监听数据库中的变化来实现实时抽数，比如监
原创
2024-03-30 03:59:51
58阅读
1.第一种跨库查询，是在同一个mysql服务器下两个不同的数据库之间的联查，关系如下图 在同一个mysql服务器下，不同的两个数据直接加上库名就可以实现跨库查询了select * from t_test1 t1, test2.t_test2 t2 where t1.id = t2.id 执行sql查询到一下结果 2.第二种跨库查询，是在两台不同服务器(物理服务器)上分别安装的mysql服务器，实现
转载
2023-06-06 10:30:48
2719阅读
总结一下MySQL跨库访问的方法：类DB-Link方法 Oracle实现跨库访问非常简单，因为有现成的db-link可用，MySQL虽然没有DB-Link，但使用特殊的存储引擎“FEDERATED”就可以实现同样的功能。具体操作如下：# 登录本地MySQL（使用端口为3338的实例做示例）
mysql -uroot -p -h 127.0.0.1 -P 3338
-- 查看“FEDERATED”引
转载
2023-08-01 16:02:12
93阅读
SQLServer安装DBLink 迁移数据DBLINK(数据库链接)，顾名思义就是数据库的链接，就像电话线一样，是一个通道，当我们要跨本地数据库，访问另外一个数据库表中的数据时，本地数据库中就必须要创建远程数据库的dblink,通过dblink本地数据库可以像访问本地数据库一样访问远程数据库表中的数据。选用DBLink缘由：在数据库迁移中对于大数据文件使用kettle时其中包含mysql批量添加
转载
2023-11-25 13:09:54
129阅读
Mysql完成一个完整xa事务的典型过程。
1. XA START 'xatest';
2. INSERT INTO user VALUES(1,'Colin');
3. INSERT INTO user VALUES(2,'Colin');
4. XA END 'xatest';
5. XA PREPARE 'xatest';
6. XA COMMIT
转载
2023-11-24 08:24:14
65阅读
创建链接服务器。链接服务器让用户可以对OLE DB 数据源进行分布式异类查询。在使用 sp_addlinkedserver 创建链接服务器后，可对该服务器运行分布式查询。如果链接服务器定义为 SQL Server 实例，则可执行远程存储过程。语法sp_addlinkedserver [ @server= ] 'server' [ , [ @srvproduct= ] 'product_name'
转载
2023-10-25 11:19:34
114阅读
Hadoop抽数任务卡死的问题时常在数据处理流程中出现，特别是在大数据量处理、复杂查询和资源占用较高的情况下。这种卡死不仅会增加任务的延迟，还可能导致数据丢失或不一致性。这篇博文将详细描述如何定位和解决Hadoop抽数任务卡死的问题，包含相关的技术原理、架构解析、源码分析、性能优化和扩展讨论。
在进行问题分析的初期，我们可以根据浮现的各种问题将其进行归类，这里采用四象限图将问题进行拆解：
``
偶然打开以前的某个项目，发现代码里面有一个FIXME，写着此为临时方案，SQL存在性能隐患，需优化。这是一个在题库里随机抽题的SQL，采用的是ORDER BY RAND()，因为没有参与后续的迭代，今天把自己当时的思路记录一下。主要还是因为网上关于这块的博文大多写的一样，没啥参考价值，所以才记录一下自己的想法，如有错误，恳请指正。ORDER BY RAND() 为什么有性能问题首先是RAND这个随
转载
2024-01-21 01:19:42
44阅读
# MySQL 跨库操作详解
在现代应用的开发中，数据库是不可或缺的一部分。随着系统的不断发展，我们往往需要将不同的功能模块或子系统的数据存放在不同的数据库中。此时，“跨库”操作便成为了一个重要的话题。本篇文章将详细介绍MySQL中的跨库操作，并提供代码示例，借助类图和旅行图来帮助读者更好地理解这一概念。
## 什么是跨库操作？
跨库操作是指在一个数据库实例中，进行对另一个数据库中的表的查询
原创
2024-09-13 03:33:30
46阅读
昨天（9月11号）参加了infoq和百度共同举办的技术沙龙《MySQL性能优化及空间数据库开发实践》，百度的刘斌分享的内容相信对目前正欲使用ssd来提升mysql性能的朋友非常有帮助，同时，个人觉得ssd在其他数据存储上也有很大的空间。颜勋讲的空间数据库方面的，我平时没有怎么接触过，不过看起来应该也是非常不错,应该对做地理信息的朋友很有帮助。最后
（Mysql）跨表查询和跨库查询
转载
2023-06-19 16:10:53
125阅读
一、数据库瓶颈不管是IO瓶颈，还是CPU瓶颈，最终都会导致数据库的活跃连接数增加，进而逼近甚至达到数据库可承载活跃连接数的阈值。在业务Service来看就是，可用数据库连接少甚至无连接可用。接下来就可以想象了吧（并发量、吞吐量、崩溃）。1、IO瓶颈 第一种：磁盘读IO瓶颈，热点数据太多，数据库缓存放不下，每次查询时会产生大量的IO，降低查询速度 -> 分库和垂直分表。第二种：网络IO瓶颈，请
转载
2023-12-25 17:35:44
190阅读
需求有个这样一个需求，A库和B库是逻辑库，在同一个数据库实例下面，A库有个表1,B库有个表2，另外A库和B库使用的是不同的用户名授权连接的现在想通过A库表1和B库表2通过某一列的字段值关联查询，做个报表查询当然如果很方便的方式，直接select查询的时候使用逻辑库.表名的方式。我这里采用了另外一种方式来做那就是视图(因为B库的某些表，某些列的数据不想返回)实践准备环境数据首先这里说明下，下面执行语
转载
2023-12-15 10:59:56
89阅读
