我们常见的数据存储格式无非就是csv、excel、txt以及数据库等形式。


数据读取

在pandas中可以使用一些函数完成数据的读取。比如read_csv、read_excel、read_table、read_sql等,这些分别是啥意思呢。。。。自己看后缀就能明白啦~


下面我们就通过撸代码来了解它们


txt文件

格式:read_table(文件路径与文件名, names=[列名1,列名2,.....], sep="",......)

其中names为列名,默认为文件中的第一行作为列名

sep为分隔符,默认为空

from pandas import read_table

#txt
df=read_table(r'D:python_workspaceanacondarz.txt')
#查看前五行数据
df.head(5)
#查看后两行数据
#df.tail(2)

rz.txt的内容如下

基于python的大数据分析-pandas数据读取(代码实战)_pandas


csv文件

格式:read_csv(文件路径与文件名, names=[列名1,列名2,.....], sep="",......)

解释同上,不在废话

#csv
from pandas import read_csv

df=read_csv(r'D:python_workspaceanacondarz.csv')
df

rz.csv的内容如下

基于python的大数据分析-pandas数据读取(代码实战)_大话软件测试_02


excel文件

格式:read_excel(文件路径与文件名, sheetname=sheet的名称, header=0)

sheetname可以指定读取几个sheet,sheet数目从0开始。如果sheetname=[0,2]则代表读取第一个和第三个sheet

header为0表示以文件第一行作为表头显示;为1则把文件第一行丢弃不作为表头显示。

#exel
from pandas import read_excel

df=read_excel(r'D:python_workspaceanacondarz.xls', sheetname='Sheet3')
df


mysql

首先安装pymysql,通过pip命令即可安装

格式:read_sql(要查询的sql语句, 数据库的链接对象)

import pandas as pd
import pymysql

#具体的数据库链接信息自行替换
conn=pymysql.connect(host='xxxx',database='xxx',user='root',
password='',port=3306,charset='utf8')
sql='select * from a'
r=pd.read_sql(sql,conn)
#关闭数据库链接
conn.close()
print(r.head(5))