python 1M数据 python处理数据快吗

转载

lgmyxbjfu 2023-10-04 10:00:45

文章标签 python 1M数据 Python Time 数据 文章分类 Python 后端开发

在数据分析领域，最热门的莫过于Python和R语言。其中，数据分析库pandas是Python最经典的库之一。它使用一个二维的DataFrame来表示表格式的数据，相比较于Numpy，Pandas可以存储混合的数据结构，同时使用NaN来表示缺失的数据，而不用像Numpy一样要手工处理缺失的数据，并且Pandas使用轴标签来表示行和列。

一般来说，用pandas处理小于100兆的数据，性能不是问题。但当我们要处理大量数据时，如何优化DataFrame的操作就需要仔细斟酌了。

例子

我们想象一个例子，你要处理一个csv文件，你想要把数据清洗后输出到另一个dataframe中，做后续处理。一个简单的程序如下：

# -*- coding: utf-8 -*-

import pandas as pd
import datetime as dt

indf = pd.read_csv('600369.csv', index_col = False, encoding = "gb2312")
output_index_num = 8000
outdf = pd.DataFrame(columns = indf.columns)
times1 = dt.datetime.now()

for outindex in range(0, output_index_num):
    # have some fun here
    outdf = outdf.append(indf.loc[int(len(indf) * outindex / output_index_num)],ignore_index=True)
times2 = dt.datetime.now()
print('Time spent: '+ str(times2-times1))

十分简单，不是吗？我们仅仅是把输入的dataframe（indf）扩展到输出outdf中去了。我们看一下运行时间：

Time spent: 0:01:58.830000

2分钟处理8000个单元，还行？这个远远不够，想象一下我们有10万个这样的csv要处理怎么办？那需要278天！怎么提高效能呢？

第一步

Dataframe的append效能很低，如果我们知道未来表的条目，预先分配好空间，将来直接向里面填入内容会快不少，我们来修改一下程序：

# -*- coding: utf-8 -*-

import pandas as pd
import datetime as dt

indf = pd.read_csv('600369.csv', index_col = False, encoding = "gb2312")
#outdf = pd.DataFrame(columns = indf.columns)
output_index_num = 8000
outdf = pd.DataFrame(pd.np.empty((output_index_num, len(indf.columns))) * pd.np.nan, columns = indf.columns)
times1 = dt.datetime.now()
for outindex in range(0, output_index_num):
    # have some fun here
    outdf.loc[outindex] = indf.loc[int(len(indf) * outindex / output_index_num)]
times2 = dt.datetime.now()
print('Time spent: '+ str(times2-times1))

结果好了不少：

Time spent: 0:01:27.636000

少了半分钟，是不是就这样了呢？还远远不够。

第二步

Dataframe检索每一行有好几个操作:loc,iloc,ix,at。它们效能有什么差别吗？我们来试一下：

%timeit outdf.loc[0] = indf.loc[0]
100 loops, best of 3: 11.7 ms per loop
%timeit outdf.iloc[0] = indf.iloc[0]
100 loops, best of 3: 11.4 ms per loop
 %timeit outdf.ix[0] = indf.ix[0]
100 loops, best of 3: 11.6 ms per loop
%timeit outdf.at[0,'time'] = indf.at[0,'time']
10000 loops, best of 3: 25.3 µs per loop

loc，iloc,ix看起来速度都差不多，at可是快了将近1000倍啊，可惜的是at只能选择某个单元而不是整行。没关系，我们来改一下程序：

# -*- coding: utf-8 -*-

import pandas as pd
import datetime as dt

indf = pd.read_csv('600369.csv', index_col = False, encoding = "gb2312")
#outdf = pd.DataFrame(columns = indf.columns)
output_index_num = 8000
outdf = pd.DataFrame(pd.np.empty((output_index_num, len(indf.columns))) * pd.np.nan, columns = indf.columns)
times1 = dt.datetime.now()
outdf.loc[0] = indf.loc[0]
for outindex in range(0, output_index_num):
    # have some fun here    
    for column in  indf.columns:
        outdf.at[outindex,column] = indf.at[int(len(indf) * outindex / output_index_num),column]
times2 = dt.datetime.now()
print('Time spent: '+ str(times2-times1))

结果大为改善：