我们在用python处理数据的时候，很多时候会遇到数据合并的问题，我们在这里介绍DataFrame的合并问题，横向合并我们介绍三种方法： 1.1 merge 类似于关系型数据库的连接方式，可以根据一个或多个键将不同的DatFrame连接起来。该函数的典型应用场景是，针对同一个主键存在两张不同字段的表，根据主键整合到一张表里面。merge(left, right, how='inner', on=N
转载
2023-06-22 23:03:06
412阅读
有时为了使数据记录显示的更直观，会需要将记录横向显示。例如航空公司仓位数据表有这样的记录（如图所示）： 是不是感觉很难快速看完，在这些数据中每个航空公司都是重复的，不易理解。为了解决这个问题需要以下语句： select max(carrier) as 航空公司,max(case cabin when 'A' then cabin else '-' end) as
转载
2024-06-06 14:09:11
28阅读
一、什么是可扩展性 首先，我们需要清楚一个数据库据系统的扩展性实际上是主要体现在两个方面，一个是横向扩展，另一个则是纵向扩展，也就是我们常说的Scale Out 和Scale Up。 Scale Out 就是指横向的扩展，向外扩展，也就是通过增加处理节点的方式来提高整体
转载
2024-02-14 10:24:38
75阅读
对于大型的网站建设，我们之前已经说了如何根据服务器负载量来横向扩展数据库。抛开关于面向服务（SOA）和面向资源（ROA）概念的争论，深入了解它们的基本前提就会发现，至少它们都有一个共同点，都要求架构师和程序员考虑架构中的职责拆分。大体上就是采用动词（服务）和名词（资源）的概念来实现拆分。 首先，我们先看看怎么用动词拆分网站。如果我们的网站是相对
转载
2024-09-04 10:04:13
39阅读
横表就是普通的建表方式，如一个表结构为：
主键、字段1、字段2、字段3。。。
如果变成纵表后，则表结构为：
主键、字段代码、字段值。
而字段代码则为字段1、字段2、字段3。
具体为电信行业的例子。以用户帐单表为例一般出账时用户有很多费用客户，其数据一般存储为：时间，客户ID,费用科目，费用。这种存储结构一般称为纵表，其特点是行数多，字段少。 纵表
转载
2024-01-27 20:37:40
35阅读
【文件共享服务器】Samba用于Linux与windows系统直接的文件共享和打印共享,也可以用于Linux与Linux之间的资源共享，NFS(网络文件系统）,Linux与Linux之间的数据共享，gitsvnftp（上传）rsync+inofile分布式存储系统海量存储【自建数据库和存储 与 阿里云数据库和存储 金融业】【数据库：关系型数据库 和 nosql】MySQL目前最火的分支仍然是Ora
翻译
精选
2016-02-24 19:27:27
800阅读
数据存储方式计算机数据（Data）的存储一般以硬盘为数据存储空间资源，从而保证计算机内的数据能够持续保存。对于数据的处理，一般会采用数据库相关的技术进行处理，从而保证数据处理的高效性。 采用数据库的管理模式不仅提高了数据的存储效率，而且在存储的层面上提高了数据的安全性。通过分类的存储模式让数据管理更加安全便捷，更能实现对数据的调用和对比，并且方便查询等操作的使用。什么是数据库数据库是数据管理的有效
转载
2024-03-18 11:26:14
161阅读
一、Greenplum简介Greenplum数据库系统体系结构的高级概述。Greenplum数据库通过在多个服务器或主机之间分配负载来存储和处理大量数据。Greenplum中的逻辑数据库是一组单独的PostgreSQL数据库，这些数据库协同工作以呈现单个数据库映像。该主是入口点，Greenplum的数据库系统。它是用户连接并提交SQL语句的数据库实例。主服务器协调系统中其他数据库实例（称为segm
转载
2024-03-15 09:57:28
57阅读
分表的方式垂直分表垂直分表在日常开发和设计中比较常见，通俗的说法叫做“大表拆小表”，拆分是基于关系型数据库中的“列”（字段）进行的。通常情况，某个表中的字段比较多，可以新建立一张“扩展表”，将不经常使用或者长度较大的字段拆分出去放到“扩展表”中，如下图所示：垂直分库垂直分库在“微服务”盛行的今天已经非常普及了。基本的思路就是按照业务模块来划分出不同的数据库，而不是像早期一样将所有的数据表都放到同一
转载
2024-06-29 06:10:01
54阅读
HiveDB是一个用来横向切分mysql数据库的开源框架，构建一个高性能和可扩展的基于mysql的系统需要大量的系统设计经验和良好的代码的实现，一个比较好的策略是将你的数据横向切分在多个server上，HiveDB就是个不错的选择
转载
2014-04-03 14:42:00
126阅读
2评论
DateTime类型DateTime类型存储的值既有日期又有时间。我们直观看到的格式为：yyyy-MM-dd HH:mm:ss。它支持的时间范围是“1000-00-00 00:00:00”到“9999-12-31 23:59:59”。但DateTime中并未存储时区信息，只存储了本地时间。也就是说：如果你将服务器的时区进行修改，数据库中记录的日期和时间并不会对应的变化。那么，读出的数据与新存储的数
转载
2023-07-10 21:27:54
234阅读
关系型数据库系统以二维表的形式呈现数据，比如下面的员工表RowIdEmpIdLastnameFirstnameSalary00110SmithJoe4000000212JonesMary5000000311JohnsonCathy4400000422JonesBob55000上面的格式仅仅存在于理论和逻辑中，事实上存储设备要求数据序列化为某种形式。我们知道对于硬盘来说，最昂贵的操作是查找。为了提高
转载
2023-12-27 18:29:00
157阅读
列式数据库介绍列式数据库是以列相关存储架构进行数据存储的数据库，主要适合与批量数据处理和即席查询。相对应的是行式数据库，数据以行相关的存储体系架构进行空间分配，主要适合与小批量的数据处理，常用于联机事务型数据处理。列式数据库以行、列的二维表的形式存储数据，但是却以一维字符串的方式存储，例如以下的一个表：EmpIdLastnameFirstnameSalary1SmithJoe400002Jones
转载
2023-07-16 16:57:27
440阅读
Android内置了一个名为SQLite的关系型数据库，这是一款轻量型的数据库，操作十分简便。SQLite与别的数据库不同的是，它没有数据类型。可以保存任何类型的数据到你所想要保存的任何表的任何列中。但它又支持常见的类型比如: NULL, VARCHAR, TEXT, INTEGER, BLOB, CLOB...等。唯一的例外是：integer primary key 此字段只能存储64位整数。在
转载
2023-06-29 23:55:07
1240阅读
黄峰，Kyligence 公司高级研发工程师，目前主要负责 Kyligence 企业级产品的开发以及维护工作。对 OLAP 场景的查询而言，单个查询往往需要在存储端扫描大量数据，再在内存中进行一些统计分析后，才能输出所需要的统计结果。因此，如果不能像以 Kylin 为代表的 MOLAP 引擎采用预计算的方式来避免数据的实时扫描，对于基于磁盘存储的数仓而言，存储端无疑会因为扫描大量数据造成磁盘吞吐的
转载
2024-06-13 17:22:55
137阅读
⼀、数据库介绍(⼀)、什么是数据库数据库(database)就是存储数据的仓库。数据库（Database）是按照数据结构来组织、存储和管理数据的仓库，每个数据库都有不同的API⽤于创建、存储、管理数据。为了⽅便数据的存储和管理，将数据按照特定的规律存储在磁盘上。通过数据库管理系统，有效地组织和管理存储在数据库中的数据。数据库（database）是按照数据结构来组织、存储和管理数据的仓库（通常是⼀个
转载
2023-07-05 21:33:19
125阅读
SQLite是android中的自带数据库，可以很方便的实现数据的存储，而且语句和原生的sql联系很大。学习数据库是一年多前的专业选修课上学过了，好多语句都忘了。各种自认为正确其实就错在关键处的错误，都犯出来了，利用课余空闲时间，陆陆续续，差不多调了也快一周了，虽然在很2的错误上花了这么多时间，但是现在调出来了，还是挺有成就感的。延续以前写解题报告的风格，先总结一下。一、创建数据库1、创建一个数据
转载
2023-07-09 12:04:24
96阅读
```mermaid
flowchart TD
A(开始)
B[准备数据库]
C[创建分库分表策略]
D[建立分库分表规则]
E[手动切分数据]
F[自动切分数据]
G(结束)
A-->B
B-->C
C-->D
D-->E
D-->F
E-->G
F-->G
```
作为一
原创
2024-07-05 04:46:10
40阅读
数据库基本概念1. 数据库的存储方式 计算机数据一般为硬盘存储，在 数据处理时，采用数据库的相关技术。 作用：提高了数据的存储效率； 提高了数据的安全性；2. 数据库是什么 由一批数据构成的有序集合—存放在结构化的数据表中 数据表之间相互关联，反应客观事物的本质联系3. 数据库的存储结构 是指：数据库中的物理数据和逻辑数据的表现形式、物理数据和逻辑数据之间关系映射方式的描述。 两种形式：物理数据描
转载
2024-03-18 19:48:14
76阅读
MWeb 的文档库模式和外部模式MWeb 分为文档库模式和外部模式，下面分别说明。文档库模式软件一开始打开就是文档库模式了，开始时需要设置文档库保存的位置，之后所有文档都会保存在这个位置。文档库使用分类树和标签管理文档，新增文档时不再需要文件名，你可以随意书写一切。任何时候你可以使用快捷键 CMD + L 打开文档库，也可以使用菜单：视图 - 打开文档库 来打开文档库，下图就是文档库模式。文档库
