Python量化数据仓库搭建系列1:数据库安装与操作

本系列教程为量化开发者,提供本地量化金融数据仓库的搭建教程与全套源代码。我们以恒有数(UDATA)金融数据社区为数据源,将金融基础数据落到本地数据库。教程提供全套源代码,包括历史数据下载与增量数据更新,数据更新任务部署与日常监控等操作。

一、数据仓库

数据仓库(Data Warehouse)简称DW或DWH,数据仓库顾名思义,是一个很大的数据存储集合。是数据库的一种概念上的升级,输入方是各种各样的数据源,最终的输出用于数据分析、量化分析、数据挖掘、数据报表等方向,从逻辑上讲数据仓库和数据库是没有什么区别的。

二、数据库选型

目前常用的开源免费数据库有MySQL、MongoDB 、Postgresql 和 SQLite (Python自带)。在2020-2021年DB-Engines 排行榜前十的见下图,各个数据库有各自的特点和适用场景。具体选用哪一个作为量化投资的数据库,取决于存储的数据特点、性能要求和成本。对于个人来说,硬件水平、技术水平、费用成本和学习时间成本等因素都相当重要。

Python量化数据仓库搭建系列1:数据库安装与操作

本系列教程,选用MySQL数据库为例,讲解数据仓库的搭建过程。其他数据库相关教程,也将会陆续推出,敬请期待。

MySQL数据库是当今最流行的开放源码数据库之一,为用户提供了一个相对简单的解决方案,适用于广泛的应用程序部署。MySQL Community Server是MySQL数据库的免费开源版,对个人用户非常友好。

三、数据库安装

1、MySQL Community Server安装包下载

安装包下载网页为:https://dev.mysql.com/downloads/mysql/,选择对应的操作系统,点击下载,例如下图为下载64位Windows系统MySQL Community Server安装包:

Python量化数据仓库搭建系列1:数据库安装与操作

2、软件安装

A、双击安装包,进行安装;

B、Choosing a Setup Type页面,选择Developer Default,点击next进入下一步;

C、Path Conflicts页面,确认安装路径与数据存放路径,点击next进入下一步;

D、Check Requirements页面,检查安装条件,直接点击next进入下一步;

E、Installation页面,点击execute执行(此处等待时间较久),执行完后点击next进入下一步;

F、Product Configuration页面,点击next进入下一步;

G、Type and Networking页面,点击next进入下一步;

H、Authentication Method页面,点击next进入下一步;

I、Accounts and Roles页面,设置Root密码,点击next进入下一步;

J、Windows Service页面,点击next进入下一步;

K、Apply Configuration页面,点击execute执行,点击Finish;

L、Product Configuration页面,点击next进入下一步;

M、MySQL Router Configuration页面,点击Finish;

N、Product Configuration页面,点击next进入下一步;

O、Connect To Server页面,填写并check一下root密码,点击next进入下一步;、

P、Apply Configuration页面,点击execute执行,点击Finish;

Q、Product Configuration页面,点击next进入下一步;

R、Installation Complete页面,点击Finish;

完成上述步骤,即可完成安装。

四、MySQL基本使用教程

1、创建数据库

create database <数据库名>;

在MySQL Workbench界面中,建库操作如下图:

Python量化数据仓库搭建系列1:数据库安装与操作

2、删除库

drop database <数据库名>;

3、创建表

create table table_name(column_name column_type);

以股票列表为例,建表代码如下:

/*
参数名         类型     长度   说明        备注
secu_code      String   20     证券代码
hs_code        String   20     HS代码
secu_abbr      String   20     证券简称
chi_name       String   20     中文名称
secu_market    String   20     证券市场
listed_state   String   20     上市状态
listed_sector  String   20     上市板块
*/
CREATE TABLE udata.TB_Stock_List (
                        secu_code CHAR(20),
                        hs_code CHAR(20),
                        secu_abbr CHAR(20),
                        chi_name CHAR(40),
                        secu_market CHAR(20), 
                        listed_state CHAR(20),
                        listed_sector CHAR(20),
                        updatetime CHAR(20));

4、删除表

drop table table_name;

5、修改表名

alter table old_name rename to new_name或rename table old_name to new_name;

6、增加字段

alter table table_name add column_name column_type;

7、修改字段

alter table table_name change column_name new_column_name new_column_name_type;

8、删除字段

alter table table_name drop column_name;

9、插入数据

INSERT INTO table_name ( field1, field2,...fieldN )
                        VALUES
                       ( value1, value2,...valueN );

10、查询数据

SELECT column_name1,column_name2
FROM table_name
[WHERE Clause]
[LIMIT N]

A、查询语句中,可以使用一个或者多个表,表之间使用逗号分割,并使用WHERE语句来设定查询条件;

B、SELECT 命令可以读取一条或者多条记录;

C、可以使用星号(*)来代替其他字段,SELECT语句会返回表的所有字段数据;

D、可以使用 WHERE 语句来包含任何条件;

E、可以使用 LIMIT 属性来设定返回的记录数

11、WHERE用法

SELECT field1, field2,...fieldN FROM table_name1, table_name2
WHERE condition1 AND condition2

A、使用 AND 或者 OR 指定一个或多个条件;

B、WHERE 子句也可以运用于 SQL 的 DELETE 或者 UPDATE 命令;

C、WHERE 子句类似于程序语言中的 if 条件;

12、UPDATE用法

UPDATE table_name SET field1=new-value1, field2=new-value2
[WHERE Clause]

A、可以同时更新一个或多个字段;

13、DELETE用法

DELETE FROM table_name [WHERE Clause]

A、如果没有指定 WHERE 子句,MySQL 表中的所有记录将被删除;

14、排序

SELECT field1, field2,...fieldN FROM table_name1, table_name2...
ORDER BY field1 [ASC [DESC][默认 ASC]], [field2...] [ASC [DESC][默认 ASC]]

A、可以设定多个字段来排序;

B、可以使用 ASC 或 DESC 关键字来设置查询结果是按升序或降序排列。 默认情况下,它是按升序排列;

15、其他

UNION、LIKE、GROUP BY、JOIN、NULL、索引、临时表等等,更多用法可参考专业教程系统学习。

下一节《Python量化数据仓库搭建系列2:Python操作数据库》