数据分析一共分为五个任务：
第一步：明确分析的任务 分析出每个季度的骑行的平均时长和各个季度的对比
第二步：数据处理 先看数据：
shell 查看csv 数据前十行
➜ data cat bikeshare/2017-q1_trip_history_data.csv|head -10
如果用Excle 打开呢？
根据 上面的格式我们开始进行数据的收集
数据收集
from pathlib import Path
#导入Python3下的pathlib模块
怎么才能获取文件的路径呢？
from pathlib import Path
ls
data/
index.py
Path("data/bikeshare")
Out[4]: PosixPath('data/bikeshare')
Path("data/bikeshare")/"index.py"
# 的文件路径，可以直接拼接的
Out[5]: PosixPath('data/bikeshare/index.py')
Numpy.loadtxt() Pycharm快捷键 ⌘+B 获取函数的源码：
def loadtxt(fname, dtype=float, comments='#', delimiter=None,
converters=None, skiprows=0, usecols=None, unpack=False,
ndmin=0):
def collect_data(data_path):
"""
数据收集 数据分析的第一步
:param data_path: 数据路径
:return:
"""
data_arr_list = []
for data_file in data_filenames:
data_csv = np.loadtxt(Path(data_path) / data_file, delimiter=',', dtype='str', skiprows=1)
# delimiter定界符逗号，dtype 字符类型 skiprows 跳过第一行
# 因为numpy库默认的是浮点型，而为了方便后续处理我们将其改为str格式，用的参数就是dtype='str'
data_arr_list.append(data_csv)
return data_arr_list
# delimiter定界符逗号，dtype默认是float,但是我们用str的形式读取，字符类型 skiprows 跳过第一行，因为第一行是表头
# 因为numpy库默认的是浮点型，而为了方便后续处理我们将其改为str格式，用的参数就是dtype='str'
在的位置打个断点：
打个断点 debug 模式调试
type(data_csv)
Out[3]: numpy.ndarray
# 数据类型
data_csv.shape
Out[4]: (646586, 9)
# 数据的大小
data_csv.ndim
Out[5]: 2
# 只有横向和纵向代表的两个维度
数据的收集完成后，我们接下来就开始第三部分：数据的处理
def process_data(data_arr_list):
duration_in_min_list = []
for data_arr in data_arr_list:
duration_str_col = data_arr[:, 0]
# 行优先， [:,0] 取出所有行的第0列
duration_str_ms = np.core.defchararray.replace(duration_str_col, '"', '')
# 把"替换成空
duration_str_min = duration_str_ms.astype('float') / 1000 / 60
# astype字符串转换成 float 转换成 min
# 向量化操作，如果不行，我们再考虑 变量
duration_in_min_list.append(duration_str_min)
return duration_in_min_list
第四步：数据分析 求出平均骑行的时间，我们可以采用np.mean 这种方式求出整列的平均值
def analyze(duration_in_min_list):
"""
数据分析
"""
duration_mean_list = []
for index, duration in enumerate(duration_in_min_list):
duration_mean = np.mean(duration)
# duration 整列的平均值
print("{} ,平均骑行时间{:.2f}".format(index + 1, duration_mean))
# 平均骑行时间，保留两位有效数字
duration_mean_list.append(duration_mean)
return duration_mean_list
最后一步：数据展示 我们采用的matplotlib 库进行的柱状图展示：
当然我们首先导入库
def show_results(duration_mean_list):
# 结果展示
plt.figure()
# 创建个图
plt.bar(range(len(duration_mean_list)),duration_mean_list)
# 采用柱状图，横坐标采用四个季度的 ，纵坐标采用的是四个季度的平均值
plt.show()
# -*- coding: utf-8 -*-
"""
@Time: 2018/7/16
@Author: songhao
@微信公众号: zeropython
@File: index.py
"""
import numpy as np
from pathlib import Path
import matplotlib.pyplot as plt
data_filenames = ['2017-q1_trip_history_data.csv', '2017-q2_trip_history_data.csv', '2017-q3_trip_history_data.csv', '2017-q4_trip_history_data.csv']
def collect_data(data_path):
"""
数据收集 数据分析的第一步
:param data_path: 数据路径
:return:
"""
data_arr_list = []
for data_file in data_filenames:
data_csv = np.loadtxt(Path(data_path) / data_file, delimiter=',', dtype='str', skiprows=1)
# delimiter定界符逗号，dtype 字符类型 skiprows 跳过第一行
# 因为numpy库默认的是浮点型，而为了方便后续处理我们将其改为str格式，用的参数就是dtype='str'
data_arr_list.append(data_csv)
return data_arr_list
def process_data(data_arr_list):
duration_in_min_list = []
for data_arr in data_arr_list:
duration_str_col = data_arr[:, 0]
# 行优先， [:,0] 取出所有行的第0列
duration_str_ms = np.core.defchararray.replace(duration_str_col, '"', '')
# 把"替换成空
duration_str_min = duration_str_ms.astype('float') / 1000 / 60
# astype字符串转换成 float 转换成 min
# 向量化操作，如果不行，我们再考虑 变量
duration_in_min_list.append(duration_str_min)
return duration_in_min_list
def analyze(duration_in_min_list):
"""
数据分析
:param duration_in_min_list:
:return:
"""
duration_mean_list = []
for index,duration in enumerate(duration_in_min_list):
duration_mean = np.mean(duration)
print("{} ,平均骑行时间{:.2f}".format(index+1,duration_mean))
duration_mean_list.append(duration_mean)
return duration_mean_list
def show_results(duration_mean_list):
# 结果展示
plt.figure()
# 创建个图
plt.bar(range(len(duration_mean_list)),duration_mean_list)
# 采用柱状图，横坐标采用四个季度的 ，纵坐标采用的是四个季度的平均值
plt.show()
if __name__ == '__main__':
data_path = "data/bikeshare"
# 数据获取
data_arr_list = collect_data(data_path)
# 数据处理
duration_in_min_list = process_data(data_arr_list)
# 数据分析
duration_mean_list = analyze(duration_in_min_list)
show_results(duration_mean_list)
文章中用到的数据 回复 data_bike
