大数据分析——某电商平台药品销售数据分析
一、 选题背景
我们已经习惯了在网上购买衣服、数码产品和家用电器，但是在网上买药品的还是不多。据史国网上药店理事会调查报告显示:2022 年，医药 B2C 的规模达到 4 亿元，仅出现 5 家锁售额达.5000 万元的网上药店。而 2022 年医药行业的市场规模达到3718 亿，线上药品的销售额还不到网下药店的一个零头，还有很大的发展潜力。大数据的不断发展影响消费者生活的各个方面，也对企业的营销模式提出挑站对大 数据量化分析，分析数据中的相关性分析，单因素分析等技术对消费者相关数据进行分析，能够挖掘出对企业真正有意义的信息。这就要求企业在有现的人力、物力资源下， 更新并找出合理的销售方案。对于医药企业来说，大数据为企业带来了危机也带来了商机，企业应根据自身发展阶段及药品特征，以及顾客价值最大化作为方向，以信息化为手段，并根据市场对药品需求的变化，把握消费者的个性需求，进行精准营销，与消费者建立起良性有效的互动，及时获得消费者反馈，整合传统媒体与新媒体宣传资源，选择合适的企业发展的营销战略。
二、 大数据分析设计方案
1.本数据集的数据内容数据特征分析
本数据集是一份网络电商平台的药品销售数据集，共7个字段,包括购药时间(string)，社保卡号(int)，商品编码(int)，商品名称(string)，销售数量(int)，应收金额(int)，实收金额(int)。
2.数据分析的课程设计方案概述
(1)先对数据进行预处理和清洗
(2)数据分析和可视化
(3)随机森林填补缺失值
三、数据分析步骤
1.数据源
数据集来源于国外Kaggle数据集网站进行采集。源数据集网址
https://www.kaggle.com/datasets/jack20216915/yaopin
导入库
1 import pandas as pd
2 import stylecloud
3 from PIL import Image
4 from collections import Counter
5 from pyecharts.charts import Bar
6 from pyecharts.charts import Line
7 from pyecharts.charts import Calendar
8 from pyecharts import options as opts
9 from pyecharts.commons.utils import JsCode
10 from pyecharts.globals import SymbolType读取数据集
1 df = pd.read_excel('电商平台药品销售数据.xlsx')
2 df.head(10)
2数据清洗
数据清洗， 是整个数据分析过程中不可缺少的一个环节，其结果质量直接关系到模型效果和最终结论。在实际操作中，数据清洗通常会占据分析过程的50%—80%的时间。
(1)查看索引、数据类型和内存信息
info() 函数用于打印 DataFrame 的简要摘要，显示有关 DataFrame 的信息，包括索 引的数据类型 dtype 和列的数据类型 dtype，非空值的数量和内存使用情况
1 df.info()
(2)统计空值数据
使用 isnull() 函数时不需要传入任何参数，只需要使用 df 对象去调用它就可以了。 该方法运行之后会将整个表格对象内的所有数据都转为 True 值以及 False 值，其中 NaN 值转换之后得到就是 True
1 df.isnull().sum()
(3) 输出包含空值的行
因为购药时间在后面的分析中会用到，所以我们将购药时间为空的行删除
(4)社保卡号用”000” 填充
fillna() 函数的功能: 该函数的功能是用指定的值去填充 dataframe 中的缺失值
1 df1['社保卡号'].fillna('0000', inplace=True)
2 df1.isnull().sum()
此时可以看到没有空值了
(5)社保卡号、商品编码为一串数字，应为 str 类型，销售数量应为 int 类型
1 df1['社保卡号'] = df1['社保卡号'].astype(str)
2 df1['商品编码'] = df1['商品编码'].astype(str)
3 df1['销售数量'] = df1['销售数量'].astype(int)
4 df1.info()
5 df1.head()
虽然这里强制转换社保卡号、商品编码为 str 类型，但是在读取表格的时候是以 float 读取的，所以存在小数点，这里我们可以在读取表格文件时指定相应列的数据类型 (需要注意如果数据存在空值，那么转换数值型时会失效)：
1 df_tmp = pd.read_excel('电商平台药品销售数据.xlsx', converters={'社保卡号':str, '商品编码':str, '销售数量':int})
2 df_tmp.head()
(6)销售数量、应收金额、实收金额分布情况
1 df2 = df_tmp.copy()
2 df2 = df2.dropna(subset=['购药时间'])
3 df2['社保卡号'].fillna('0000', inplace=True)
4 df2['销售数量'] = df2['销售数量'].astype(int)
5 df2[['销售数量','应收金额','实收金额']].describe()
数据中存在负值，显然不合理，我们看一下负值所在的行
1 df2.loc[(df2['销售数量'] < 0)]
(7)负值转正值
abs 是 python 的绝对值函数，计算绝对值，数据值转为正值
1 df2['销售数量'] = df2['销售数量'].abs()
2 df2['应收金额'] = df2['应收金额'].abs()
3 df2['实收金额'] = df2['实收金额'].abs()
4 df2.loc[(df2['销售数量'] < 0) | (df2['应收金额'] < 0) | (df2['实收金额'] < 0)].sum()
(8)列拆分（购药时间列拆分为两列）
对字符串按照指定规则分割，并将分割后的字段作为 list 返回，对购药日期和星期 两列进行分隔，进行列拆分
1 df3 = df2.copy()
2 df3[['购药日期', '星期']] = df3['购药时间'].str.split(' ', 2, expand = True)
3 df3 = df3[['购药日期', '星期','社保卡号','商品编码', '商品名称', '销售数量', '应收金额', '实收金额' ]]
4 df3
(9) 数据时间范围
unique 函数去除其中重复的元素，并按元素由大到小返回一个新的无元素重复的元组或者列表
1 len(df3['购药日期'].unique())
2 df3.groupby('购药日期').sum()
一共201个购买日期，时间范围2016-01-01至2016-07-19
3数据可视化
“pyecharts 是一个用于生成 Echarts 图表的类库。Echarts 是百度开源的一个数据可视化 JS 库。用 Echarts 生成的图可视化效果非常棒，为了与 Python 进行对接，方便在 Python 中直接使用数据生成图”。
pyecharts可以展示动态图，在线报告使用比较美观，并且展示数据方便，鼠标悬停在图上，即可显示数值、标签等。
(1)一周各天药品销量柱状图
1 color_js = """new echarts.graphic.LinearGradient(0, 1, 0, 0,
2 [{offset: 0, color: '#FFFFFF'}, {offset: 1, color: '#ed1941'}], false)"""
3
4 g1 = df3.groupby('星期').sum()
5 x_data = list(g1.index)
6 y_data = g1['销售数量'].values.tolist()
7 b1 = (
8 Bar()
9 .add_xaxis(x_data)
10 .add_yaxis('',y_data ,itemstyle_opts=opts.ItemStyleOpts(color=JsCode(color_js)))
11 .set_global_opts(title_opts=opts.TitleOpts(title='一周各天药品销量',pos_top='2%',pos_left = 'center'),
12 legend_opts=opts.LegendOpts(is_show=False),
13 xaxis_opts=opts.AxisOpts(axislabel_opts=opts.LabelOpts(rotate=-15)),
14 yaxis_opts=opts.AxisOpts(name="销量",name_location='middle',name_gap=50,name_textstyle_opts=opts.TextStyleOpts(font_size=16)))
15
16 )
17 b1.render('一周各天药品销量柱状图.html')
从下图可以清楚直观的看到每一周药品的销量，我发现每天销量整体相差不大，周五、周六偏于购药高峰。
(2)药品销量前十柱状图
1 color_js = """new echarts.graphic.LinearGradient(0, 1, 0, 0,
2 [{offset: 0, color: '#FFFFFF'}, {offset: 1, color: '#08519c'}], false)"""
3
4 g2 = df3.groupby('商品名称').sum().sort_values(by='销售数量', ascending=False)
5 x_data = list(g2.index)[:10]
6 y_data = g2['销售数量'].values.tolist()[:10]
7 b2 = (
8 Bar()
9 .add_xaxis(x_data)
10 .add_yaxis('',y_data ,itemstyle_opts=opts.ItemStyleOpts(color=JsCode(color_js)))
11 .set_global_opts(title_opts=opts.TitleOpts(title='药品销量前十',pos_top='2%',pos_left = 'center'),
12 legend_opts=opts.LegendOpts(is_show=False),
13 xaxis_opts=opts.AxisOpts(axislabel_opts=opts.LabelOpts(rotate=-15)),
14 yaxis_opts=opts.AxisOpts(name="销量",name_location='middle',name_gap=50,name_textstyle_opts=opts.TextStyleOpts(font_size=16)))
15
16 )
17 b2.render('药品销量前十柱状图.html')
我们在这可以看出：苯磺酸氨氯地平片 (安内真)、开博通、酒石酸美托洛尔片 (倍他乐克) 等治疗高血压、心绞痛药物购买量比较多
(3)药品销售额前十柱状图
1 color_js = """new echarts.graphic.LinearGradient(0, 1, 0, 0,
2 [{offset: 0, color: '#FFFFFF'}, {offset: 1, color: '#871F78'}], false)"""
3
4 g3 = df3.groupby('商品名称').sum().sort_values(by='实收金额', ascending=False)
5 x_data = list(g3.index)[:10]
6 y_data = g3['实收金额'].values.tolist()[:10]
7 b3 = (
8 Bar()
9 .add_xaxis(x_data)
10 .add_yaxis('',y_data ,itemstyle_opts=opts.ItemStyleOpts(color=JsCode(color_js)))
11 .set_global_opts(title_opts=opts.TitleOpts(title='药品销售额前十',pos_top='2%',pos_left = 'center'),
12 legend_opts=opts.LegendOpts(is_show=False),
13 xaxis_opts=opts.AxisOpts(axislabel_opts=opts.LabelOpts(rotate=-15)),
14 yaxis_opts=opts.AxisOpts(name="销量",name_location='middle',name_gap=50,name_textstyle_opts=opts.TextStyleOpts(font_size=16)))
15
16 )
17 b3.render('药品销售额前十柱状图.html')
我们可以清楚看到药品销售额前十的条形图，我们发现开播通销售额最高，为37671
(4)一周每天订单量
1 # 设置样式
2 color_js = """new echarts.graphic.LinearGradient(0, 1, 0, 0,
3 [{offset: 0, color: '#25BEAD'}, {offset: 1, color: '#ed1941'}], false)"""
4
5 area_color_js = (
6 "new echarts.graphic.LinearGradient(0, 0, 0, 1, "
7 "[{offset: 0, color: '#25BEAD'}, {offset: 1, color: '#3fbbff0d'}], false)"
8 )
9 # 一周每天订单量
10 df_week = df3.groupby(['星期'])['实收金额'].count()
11 week_x_data = df_week.index
12 week_y_data = df_week.values.tolist()
13
14 line1 = (
15 Line(init_opts=opts.InitOpts(bg_color=JsCode(color_js)))
16 .add_xaxis(xaxis_data=week_x_data)
17 .add_yaxis(
18 series_name="",
19 y_axis=week_y_data,
20 is_smooth=True,
21 is_symbol_show=True,
22 symbol="circle",
23 symbol_size=6,
24 linestyle_opts=opts.LineStyleOpts(color="#fff"),
25 label_opts=opts.LabelOpts(is_show=True, position="top", color="white"),
26 itemstyle_opts=opts.ItemStyleOpts(
27 color="red", border_color="#fff", border_width=3
28 ),
29 tooltip_opts=opts.TooltipOpts(is_show=False),
30 areastyle_opts=opts.AreaStyleOpts(color=JsCode(area_color_js), opacity=1),
31 )
32 .set_global_opts(
33 title_opts=opts.TitleOpts(
34 title="一周每天订单量",
35 pos_top="2%",
36 pos_left="center",
37 title_textstyle_opts=opts.TextStyleOpts(color="#fff", font_size=16),
38 ),
39 xaxis_opts=opts.AxisOpts(
40 type_="category",
41 boundary_gap=True,
42 axislabel_opts=opts.LabelOpts(margin=30, color="#ffffff63",font_weight =900),
43 axisline_opts=opts.AxisLineOpts(is_show=False),
44 axistick_opts=opts.AxisTickOpts(
45 is_show=True,
46 length=25,
47 linestyle_opts=opts.LineStyleOpts(color="#ffffff1f"),
48 ),
49 splitline_opts=opts.SplitLineOpts(
50 is_show=True, linestyle_opts=opts.LineStyleOpts(color="#ffffff1f")
51 ),
52 ),
53 yaxis_opts=opts.AxisOpts(
54 type_="value",
55 position="left",
56 axislabel_opts=opts.LabelOpts(margin=20, color="#ffffff63"),
57 axisline_opts=opts.AxisLineOpts(
58 linestyle_opts=opts.LineStyleOpts(width=2, color="#fff")
59 ),
60 axistick_opts=opts.AxisTickOpts(
61 is_show=True,
62 length=15,
63 linestyle_opts=opts.LineStyleOpts(color="#ffffff1f"),
64 ),
65 splitline_opts=opts.SplitLineOpts(
66 is_show=True, linestyle_opts=opts.LineStyleOpts(color="#ffffff1f")
67 ),
68 ),
69 legend_opts=opts.LegendOpts(is_show=False),
70 )
71 )
72 line1.render('一周每天订单量分析图.html')
我们通过折线图来分析每周的订单数量
(5)自然月每天订单数量
1 # 自然月每天订单数量
2 df3['购药日期'] = pd.to_datetime(df3['购药日期'])
3 df_day = df3.groupby(df3['购药日期'].dt.day)['星期'].count()
4 day_x_data = [str(i) for i in list(df_day.index)]
5 day_y_data = df_day.values.tolist()
6 line1 = (
7 Line(init_opts=opts.InitOpts(bg_color=JsCode(color_js)))
8 .add_xaxis(xaxis_data=day_x_data)
9 .add_yaxis(
10 series_name="",
11 y_axis=day_y_data,
12 is_smooth=True,
13 is_symbol_show=True,
14 symbol="circle",
15 symbol_size=6,
16 linestyle_opts=opts.LineStyleOpts(color="#fff"),
17 label_opts=opts.LabelOpts(is_show=True, position="top", color="white"),
18 itemstyle_opts=opts.ItemStyleOpts(
19 color="red", border_color="#fff", border_width=3
20 ),
21 tooltip_opts=opts.TooltipOpts(is_show=False),
22 areastyle_opts=opts.AreaStyleOpts(color=JsCode(area_color_js), opacity=1),
23 )
24 .set_global_opts(
25 title_opts=opts.TitleOpts(
26 title="自然月每日订单量",
27 pos_top="5%",
28 pos_left="center",
29 title_textstyle_opts=opts.TextStyleOpts(color="#fff", font_size=16),
30 ),
31 xaxis_opts=opts.AxisOpts(
32 type_="category",
33 boundary_gap=True,
34 axislabel_opts=opts.LabelOpts(margin=30, color="#ffffff63",font_weight =900),
35 axisline_opts=opts.AxisLineOpts(is_show=False),
36 axistick_opts=opts.AxisTickOpts(
37 is_show=True,
38 length=25,
39 linestyle_opts=opts.LineStyleOpts(color="#ffffff1f"),
40 ),
41 splitline_opts=opts.SplitLineOpts(
42 is_show=True, linestyle_opts=opts.LineStyleOpts(color="#ffffff1f")
43 ),
44 ),
45 yaxis_opts=opts.AxisOpts(
46 type_="value",
47 position="left",
48 axislabel_opts=opts.LabelOpts(margin=20, color="#ffffff63"),
49 axisline_opts=opts.AxisLineOpts(
50 linestyle_opts=opts.LineStyleOpts(width=2, color="#fff")
51 ),
52 axistick_opts=opts.AxisTickOpts(
53 is_show=True,
54 length=15,
55 linestyle_opts=opts.LineStyleOpts(color="#ffffff1f"),
56 ),
57 splitline_opts=opts.SplitLineOpts(
58 is_show=True, linestyle_opts=opts.LineStyleOpts(color="#ffffff1f")
59 ),
60 ),
61 legend_opts=opts.LegendOpts(is_show=False),
62 )
63 )
64 line1.render('自然月每天订单数量分析图.html')
可以看出：5 日、15 日、25 日是药品销售高峰期，尤其是每月 15 日
(6)每月订单数量
1 # 每月订单数量
2 df_month = df3.groupby(df3['购药日期'].dt.month)['星期'].count()
3 day_x_data = [str(i)+'月' for i in list(df_month.index)]
4 day_y_data = df_month.values.tolist()
5 line1 = (
6 Line(init_opts=opts.InitOpts(bg_color=JsCode(color_js)))
7 .add_xaxis(xaxis_data=day_x_data)
8 .add_yaxis(
9 series_name="",
10 y_axis=day_y_data,
11 is_smooth=True,
12 is_symbol_show=True,
13 symbol="circle",
14 symbol_size=6,
15 linestyle_opts=opts.LineStyleOpts(color="#fff"),
16 label_opts=opts.LabelOpts(is_show=True, position="top", color="black"),
17 itemstyle_opts=opts.ItemStyleOpts(
18 color="red", border_color="#fff", border_width=3
19 ),
20 tooltip_opts=opts.TooltipOpts(is_show=False),
21 areastyle_opts=opts.AreaStyleOpts(color=JsCode(area_color_js), opacity=1),
22 )
23 .set_global_opts(
24 title_opts=opts.TitleOpts(
25 title="每月订单量",
26 pos_top="2%",
27 pos_left="center",
28 title_textstyle_opts=opts.TextStyleOpts(color="#fff", font_size=16),
29 ),
30 xaxis_opts=opts.AxisOpts(
31 type_="category",
32 boundary_gap=True,
33 axislabel_opts=opts.LabelOpts(margin=30, color="#ffffff63",font_weight =900),
34 axisline_opts=opts.AxisLineOpts(is_show=False),
35 axistick_opts=opts.AxisTickOpts(
36 is_show=True,
37 length=25,
38 linestyle_opts=opts.LineStyleOpts(color="#ffffff1f"),
39 ),
40 splitline_opts=opts.SplitLineOpts(
41 is_show=True, linestyle_opts=opts.LineStyleOpts(color="#ffffff1f")
42 ),
43 ),
44 yaxis_opts=opts.AxisOpts(
45 type_="value",
46 position="left",
47 axislabel_opts=opts.LabelOpts(margin=20, color="#ffffff63"),
48 axisline_opts=opts.AxisLineOpts(
49 linestyle_opts=opts.LineStyleOpts(width=2, color="#fff")
50 ),
51 axistick_opts=opts.AxisTickOpts(
52 is_show=True,
53 length=15,
54 linestyle_opts=opts.LineStyleOpts(color="#ffffff1f"),
55 ),
56 splitline_opts=opts.SplitLineOpts(
57 is_show=True, linestyle_opts=opts.LineStyleOpts(color="#ffffff1f")
58 ),
59 ),
60 legend_opts=opts.LegendOpts(is_show=False),
61 )
62 )
63 line1.render('每月订单数量分析图.html')
在这里我们可以发现 1 月份和 4 月份药品销售数据较其他几个月更多
(7)五月每日订单量
1 # 五月每日订单量
2 colors = ['#C9DA36','#9ECB3C','#6DBC49','#37B44E','#3DBA78','#7D3990','#A63F98','#C31C88','#F57A34','#FA8F2F','#CF7B25','#CF7B25','#FF5733','#C70039']
3 df_day = df3.groupby(df3['购药日期'].dt.day)['星期'].count()
4 day_x_data = [str(i) for i in list(df_day.index)]
5 day_y_data = df_day.values.tolist()
6 times = [x.strftime('%Y-%m-%d') for x in list(pd.date_range('20160501', '20160531'))]
7 data = [[times[index],day_y_data[index]] for index,item in enumerate( day_y_data)]
8 Cal = (
9 Calendar(init_opts=opts.InitOpts(width="800px", height="500px"))
10 .add(
11 series_name="五月每日订单量分布情况",
12 yaxis_data=data,
13 calendar_opts=opts.CalendarOpts(
14 pos_top='20%',
15 pos_left='5%',
16 range_="2016-05",
17 cell_size=40,
18 # 年月日标签样式设置
19 daylabel_opts=opts.CalendarDayLabelOpts(name_map="cn",
20 margin=20,
21 label_font_size=14,
22 label_color='#EB1934',
23 label_font_weight='bold'
24 ),
25 monthlabel_opts=opts.CalendarMonthLabelOpts(name_map="cn",
26 margin=20,
27 label_font_size=14,
28 label_color='#EB1934',
29 label_font_weight='bold',
30 is_show=False
31 ),
32 yearlabel_opts=opts.CalendarYearLabelOpts(is_show=False),
33 ),
34 tooltip_opts='{c}',
35 )
36 .set_global_opts(
37 title_opts=opts.TitleOpts(
38 pos_top="2%",
39 pos_left="center",
40 title=""
41 ),
42 visualmap_opts=opts.VisualMapOpts(
43 orient="horizontal",
44 max_=800,
45 pos_bottom='10%',
46 is_piecewise=True,
47 pieces=[{"min": 600},
48 {"min": 300, "max": 599},
49 {"min": 200, "max": 299},
50 {"min": 160, "max": 199},
51 {"min": 100, "max": 159},
52 {"max": 99}],
53 range_color=['#ffeda0','#fed976','#fd8d3c','#fc4e2a','#e31a1c','#b10026']
54
55 ),
56 legend_opts=opts.LegendOpts(is_show=True,
57 pos_top='5%',
58 item_width = 50,
59 item_height = 30,
60 textstyle_opts=opts.TextStyleOpts(font_size=16,color='#EB1934'),
61 legend_icon ='path://path://M465.621333 469.333333l-97.813333-114.133333a21.333333 21.333333 0 1 1 32.384-27.733333L512 457.856l111.786667-130.432a21.333333 21.333333 0 1 1 32.426666 27.776L558.357333 469.333333h81.493334c11.84 0 21.461333 9.472 21.461333 21.333334 0 11.776-9.6 21.333333-21.482667 21.333333H533.333333v85.333333h106.517334c11.861333 0 21.482667 9.472 21.482666 21.333334 0 11.776-9.6 21.333333-21.482666 21.333333H533.333333v127.850667c0 11.861333-9.472 21.482667-21.333333 21.482666-11.776 0-21.333333-9.578667-21.333333-21.482666V640h-106.517334A21.354667 21.354667 0 0 1 362.666667 618.666667c0-11.776 9.6-21.333333 21.482666-21.333334H490.666667v-85.333333h-106.517334A21.354667 21.354667 0 0 1 362.666667 490.666667c0-11.776 9.6-21.333333 21.482666-21.333334h81.472zM298.666667 127.957333C298.666667 104.405333 317.824 85.333333 341.12 85.333333h341.76C706.304 85.333333 725.333333 104.490667 725.333333 127.957333v42.752A42.645333 42.645333 0 0 1 682.88 213.333333H341.12C317.696 213.333333 298.666667 194.176 298.666667 170.709333V127.957333zM341.333333 170.666667h341.333334V128H341.333333v42.666667z m-105.173333-42.666667v42.666667H170.752L170.666667 895.893333 853.333333 896V170.773333L789.909333 170.666667V128h63.296C876.842667 128 896 147.072 896 170.773333v725.12C896 919.509333 877.013333 938.666667 853.333333 938.666667H170.666667a42.666667 42.666667 0 0 1-42.666667-42.773334V170.773333C128 147.157333 147.114667 128 170.752 128h65.408z'
62 ),
63 )
64 )
65 Cal.render('五月每日订单量分析图.html')
我们把五月每日订单单独拿出来分析，可以看出：苯磺酸氨氯地平片 (安内真)、开博通、酒石酸美托洛尔片 (倍他乐克) 等治疗高血压、心绞痛药物购买量比较多
(8)药品销售数据词云
1 # 词云
2 g = df3.groupby('商品名称').sum()
3 drug_list = []
4 for idx, value in enumerate(list(g.index)):
5 drug_list += [value] * list(g['销售数量'].values)[idx]
6 stylecloud.gen_stylecloud(
7 text=' '.join(drug_list),
8 font_path=r'STXINWEI.TTF',
9 palette='cartocolors.qualitative.Bold_5',# 设置配色方案
10 icon_name='fas fa-lock', # 设置蒙版方案
11 # background_color='black',
12 max_font_size=200,
13 output_name='药品销量.png',
14 )
15 Image.open("药品销量.png")
4.随机森林填补缺失值
利用随机森林进行填补缺失值的思想：随机森林是进行回归的操作，我们可以把那 些包含缺失值的列当作标签，如果是很多列都有缺失值，那么就要按照每一列的缺失 值的从小到大来填补（因为这样子的话，正确率会更加高一些，因为缺失值少的那个 对特征等的要求更加低一些），然后在将剩下和原本就已经给的标签组成新的特征矩阵 （一般情况下，最开始的标签是不会有缺失值的），在这个特征矩阵里面，将缺失值利用 numpy,pandas 或者 sklearn 的 impleImputer 填补为 0，因为 0 对数据的影响比较小。接着 就是将取出的那个新的标签列，按照有没有缺失值分为 Ytrain 和 Ytest，同样的道理，按 照新标签列有缺失值所在的行的位置，将新的特征矩阵分为 Xtrain 和 Xtest，然后就可 以利用 RandomForestRegressor() 来进行训练和预测，利用 predict 接口来得到最后的 Y， 其实在前面的 Ytest 并没有用处，只是来确定所在的行而已。在这里的 predict 出来的就 是要填补的内容，将它把 Ytest 覆盖就可以了。如果有缺失值的列很多的话，就可以使 用循环，不断的预测就可以了。最后所填补的缺失值的正确率要远比利用 0 填补，均值 填补，中位数填补，最多数填补的高。
1 from sklearn.impute import SimpleImputer
2 from sklearn.ensemble import RandomForestRegressor
3 import numpy as np
4 data_copy = df.copy()
5 data_copy.drop(data_copy.columns[0], axis=1, inplace=True)
6 sindex = np.argsort(data_copy.isnull().sum()).values
7
8 # 进行缺失值的填补，利用随机森林进行填补缺失值
9 for i in sindex :
10 if data_copy.iloc[:,i].isnull().sum() == 0 :
11 continue
12 df = data_copy
13 fillc = df.iloc[:, i]
14 df = df.iloc[:,df.columns!=df.columns[i]]
15
16 #在下面的是使用了0来对特征矩阵中的缺失值的填补，
17 df_0 = SimpleImputer(missing_values=np.nan
18 ,strategy="constant"
19 ,fill_value=0
20 ).fit_transform(df)
21 Ytrain = fillc[fillc.notnull()]
22 Ytest = fillc[fillc.isnull()]
23
24 Xtrain = df_0[Ytrain.index,:]
25 Xtest = df_0[Ytest.index,:]
26
27 rfc = RandomForestRegressor()
28 rfc.fit(Xtrain, Ytrain)
29 Ypredict = rfc.predict(Xtest)
30
31 data_copy.loc[data_copy.iloc[:,i].isnull(),data_copy.columns[i]] = Ypredict
32 data_copy.isnull().sum()
5完整代码附上
1 import pandas as pd
2 import stylecloud
3 from sklearn.impute import SimpleImputer
4 from sklearn.ensemble import RandomForestRegressor
5 import numpy as np
6 from PIL import Image
7 from collections import Counter
8 from pyecharts.charts import Bar
9 from pyecharts.charts import Line
10 from pyecharts.charts import Calendar
11 from pyecharts import options as opts
12 from pyecharts.commons.utils import JsCode
13 from pyecharts.globals import SymbolType
14 df = pd.read_excel('电商平台药品销售数据.xlsx')
15 df.head(10)
16 from sklearn.impute import SimpleImputer
17 import numpy as np
18 # 取出缺失值所在列的数值，sklearn当中特征矩阵必须是二维才能传入 使用reshape(-1,1)升维
19 sums=df['实收金额'].values.reshape(-1,1)
20 # 按平均值填充
21 imp_mean = SimpleImputer(missing_values=np.nan, strategy='mean')
22 imp_mean=imp_mean.fit_transform(sums)
23
24 df['实收金额']=imp_mean
25 df
26 df.info()
27 df.shape
28 df.isnull().sum()
29 df[df.isnull().T.any()]
30 df1 = df.copy()
31 df1 = df1.dropna(subset=['购药时间'])
32 df1[df1.isnull().T.any()]
33 df1['社保卡号'].fillna('0000', inplace=True)
34 df1.isnull().sum()
35 df1['社保卡号'] = df1['社保卡号'].astype(str)
36 df1['商品编码'] = df1['商品编码'].astype(str)
37 df1['销售数量'] = df1['销售数量'].astype(int)
38 df1.info()
39 df1.head()
40 df_tmp = pd.read_excel('电商平台药品销售数据.xlsx', converters={'社保卡号':str, '商品编码':str, '销售数量':int})
41 df_tmp.head()
42 df2 = df_tmp.copy()
43 df2 = df2.dropna(subset=['购药时间'])
44 df2['社保卡号'].fillna('0000', inplace=True)
45 df2['销售数量'] = df2['销售数量'].astype(int)
46 df2[['销售数量','应收金额','实收金额']].describe()
47 df2.loc[(df2['销售数量'] < 0)]
48 df2['销售数量'] = df2['销售数量'].abs()
49 df2['应收金额'] = df2['应收金额'].abs()
50 df2['实收金额'] = df2['实收金额'].abs()
51 df2.loc[(df2['销售数量'] < 0) | (df2['应收金额'] < 0) | (df2['实收金额'] < 0)].sum()
52 df3 = df2.copy()
53 df3[['购药日期', '星期']] = df3['购药时间'].str.split(' ', 2, expand = True)
54 df3 = df3[['购药日期', '星期','社保卡号','商品编码', '商品名称', '销售数量', '应收金额', '实收金额' ]]
55 df3
56 len(df3['购药日期'].unique())
57 df3.groupby('购药日期').sum()
58 color_js = """new echarts.graphic.LinearGradient(0, 1, 0, 0,
59 [{offset: 0, color: '#FFFFFF'}, {offset: 1, color: '#ed1941'}], false)"""
60
61 g1 = df3.groupby('星期').sum()
62 x_data = list(g1.index)
63 y_data = g1['销售数量'].values.tolist()
64 b1 = (
65 Bar()
66 .add_xaxis(x_data)
67 .add_yaxis('',y_data ,itemstyle_opts=opts.ItemStyleOpts(color=JsCode(color_js)))
68 .set_global_opts(title_opts=opts.TitleOpts(title='一周各天药品销量',pos_top='2%',pos_left = 'center'),
69 legend_opts=opts.LegendOpts(is_show=False),
70 xaxis_opts=opts.AxisOpts(axislabel_opts=opts.LabelOpts(rotate=-15)),
71 yaxis_opts=opts.AxisOpts(name="销量",name_location='middle',name_gap=50,name_textstyle_opts=opts.TextStyleOpts(font_size=16)))
72
73 )
74 b1.render('一周各天药品销量柱状图.html')
75
76 color_js = """new echarts.graphic.LinearGradient(0, 1, 0, 0,
77 [{offset: 0, color: '#FFFFFF'}, {offset: 1, color: '#08519c'}], false)"""
78
79 g2 = df3.groupby('商品名称').sum().sort_values(by='销售数量', ascending=False)
80 x_data = list(g2.index)[:10]
81 y_data = g2['销售数量'].values.tolist()[:10]
82 b2 = (
83 Bar()
84 .add_xaxis(x_data)
85 .add_yaxis('',y_data ,itemstyle_opts=opts.ItemStyleOpts(color=JsCode(color_js)))
86 .set_global_opts(title_opts=opts.TitleOpts(title='药品销量前十',pos_top='2%',pos_left = 'center'),
87 legend_opts=opts.LegendOpts(is_show=False),
88 xaxis_opts=opts.AxisOpts(axislabel_opts=opts.LabelOpts(rotate=-15)),
89 yaxis_opts=opts.AxisOpts(name="销量",name_location='middle',name_gap=50,name_textstyle_opts=opts.TextStyleOpts(font_size=16)))
90
91 )
92 b2.render('药品销量前十柱状图改.html')
93
94 # 设置样式
95 color_js = """new echarts.graphic.LinearGradient(0, 1, 0, 0,
96 [{offset: 0, color: '#25BEAD'}, {offset: 1, color: '#ed1941'}], false)"""
97
98 area_color_js = (
99 "new echarts.graphic.LinearGradient(0, 0, 0, 1, "
100 "[{offset: 0, color: '#25BEAD'}, {offset: 1, color: '#3fbbff0d'}], false)"
101 )
102 # 一周每天订单量
103 df_week = df3.groupby(['星期'])['实收金额'].count()
104 week_x_data = df_week.index
105 week_y_data = df_week.values.tolist()
106
107 line1 = (
108 Line(init_opts=opts.InitOpts(bg_color=JsCode(color_js)))
109 .add_xaxis(xaxis_data=week_x_data)
110 .add_yaxis(
111 series_name="",
112 y_axis=week_y_data,
113 is_smooth=True,
114 is_symbol_show=True,
115 symbol="circle",
116 symbol_size=6,
117 linestyle_opts=opts.LineStyleOpts(color="#fff"),
118 label_opts=opts.LabelOpts(is_show=True, position="top", color="white"),
119 itemstyle_opts=opts.ItemStyleOpts(
120 color="red", border_color="#fff", border_width=3
121 ),
122 tooltip_opts=opts.TooltipOpts(is_show=False),
123 areastyle_opts=opts.AreaStyleOpts(color=JsCode(area_color_js), opacity=1),
124 )
125 .set_global_opts(
126 title_opts=opts.TitleOpts(
127 title="一周每天订单量",
128 pos_top="2%",
129 pos_left="center",
130 title_textstyle_opts=opts.TextStyleOpts(color="#fff", font_size=16),
131 ),
132 xaxis_opts=opts.AxisOpts(
133 type_="category",
134 boundary_gap=True,
135 axislabel_opts=opts.LabelOpts(margin=30, color="#ffffff63",font_weight =900),
136 axisline_opts=opts.AxisLineOpts(is_show=False),
137 axistick_opts=opts.AxisTickOpts(
138 is_show=True,
139 length=25,
140 linestyle_opts=opts.LineStyleOpts(color="#ffffff1f"),
141 ),
142 splitline_opts=opts.SplitLineOpts(
143 is_show=True, linestyle_opts=opts.LineStyleOpts(color="#ffffff1f")
144 ),
145 ),
146 yaxis_opts=opts.AxisOpts(
147 type_="value",
148 position="left",
149 axislabel_opts=opts.LabelOpts(margin=20, color="#ffffff63"),
150 axisline_opts=opts.AxisLineOpts(
151 linestyle_opts=opts.LineStyleOpts(width=2, color="#fff")
152 ),
153 axistick_opts=opts.AxisTickOpts(
154 is_show=True,
155 length=15,
156 linestyle_opts=opts.LineStyleOpts(color="#ffffff1f"),
157 ),
158 splitline_opts=opts.SplitLineOpts(
159 is_show=True, linestyle_opts=opts.LineStyleOpts(color="#ffffff1f")
160 ),
161 ),
162 legend_opts=opts.LegendOpts(is_show=False),
163 )
164 )
165 line1.render('一周每天订单量分析图.html')
166
167 # 每月订单数量
168 df_month = df3.groupby(df3['购药日期'].dt.month)['星期'].count()
169 day_x_data = [str(i)+'月' for i in list(df_month.index)]
170 day_y_data = df_month.values.tolist()
171 line1 = (
172 Line(init_opts=opts.InitOpts(bg_color=JsCode(color_js)))
173 .add_xaxis(xaxis_data=day_x_data)
174 .add_yaxis(
175 series_name="",
176 y_axis=day_y_data,
177 is_smooth=True,
178 is_symbol_show=True,
179 symbol="circle",
180 symbol_size=6,
181 linestyle_opts=opts.LineStyleOpts(color="#fff"),
182 label_opts=opts.LabelOpts(is_show=True, position="top", color="black"),
183 itemstyle_opts=opts.ItemStyleOpts(
184 color="red", border_color="#fff", border_width=3
185 ),
186 tooltip_opts=opts.TooltipOpts(is_show=False),
187 areastyle_opts=opts.AreaStyleOpts(color=JsCode(area_color_js), opacity=1),
188 )
189 .set_global_opts(
190 title_opts=opts.TitleOpts(
191 title="每月订单量",
192 pos_top="2%",
193 pos_left="center",
194 title_textstyle_opts=opts.TextStyleOpts(color="#fff", font_size=16),
195 ),
196 xaxis_opts=opts.AxisOpts(
197 type_="category",
198 boundary_gap=True,
199 axislabel_opts=opts.LabelOpts(margin=30, color="#ffffff63",font_weight =900),
200 axisline_opts=opts.AxisLineOpts(is_show=False),
201 axistick_opts=opts.AxisTickOpts(
202 is_show=True,
203 length=25,
204 linestyle_opts=opts.LineStyleOpts(color="#ffffff1f"),
205 ),
206 splitline_opts=opts.SplitLineOpts(
207 is_show=True, linestyle_opts=opts.LineStyleOpts(color="#ffffff1f")
208 ),
209 ),
210 yaxis_opts=opts.AxisOpts(
211 type_="value",
212 position="left",
213 axislabel_opts=opts.LabelOpts(margin=20, color="#ffffff63"),
214 axisline_opts=opts.AxisLineOpts(
215 linestyle_opts=opts.LineStyleOpts(width=2, color="#fff")
216 ),
217 axistick_opts=opts.AxisTickOpts(
218 is_show=True,
219 length=15,
220 linestyle_opts=opts.LineStyleOpts(color="#ffffff1f"),
221 ),
222 splitline_opts=opts.SplitLineOpts(
223 is_show=True, linestyle_opts=opts.LineStyleOpts(color="#ffffff1f")
224 ),
225 ),
226 legend_opts=opts.LegendOpts(is_show=False),
227 )
228 )
229 line1.render('每月订单数量分析图.html')
230 # 五月每日订单量
231 colors = ['#C9DA36','#9ECB3C','#6DBC49','#37B44E','#3DBA78','#7D3990','#A63F98','#C31C88','#F57A34','#FA8F2F','#CF7B25','#CF7B25','#FF5733','#C70039']
232 df_day = df3.groupby(df3['购药日期'].dt.day)['星期'].count()
233 day_x_data = [str(i) for i in list(df_day.index)]
234 day_y_data = df_day.values.tolist()
235 times = [x.strftime('%Y-%m-%d') for x in list(pd.date_range('20160501', '20160531'))]
236 data = [[times[index],day_y_data[index]] for index,item in enumerate( day_y_data)]
237 Cal = (
238 Calendar(init_opts=opts.InitOpts(width="800px", height="500px"))
239 .add(
240 series_name="五月每日订单量分布情况",
241 yaxis_data=data,
242 calendar_opts=opts.CalendarOpts(
243 pos_top='20%',
244 pos_left='5%',
245 range_="2016-05",
246 cell_size=40,
247 # 年月日标签样式设置
248 daylabel_opts=opts.CalendarDayLabelOpts(name_map="cn",
249 margin=20,
250 label_font_size=14,
251 label_color='#EB1934',
252 label_font_weight='bold'
253 ),
254 monthlabel_opts=opts.CalendarMonthLabelOpts(name_map="cn",
255 margin=20,
256 label_font_size=14,
257 label_color='#EB1934',
258 label_font_weight='bold',
259 is_show=False
260 ),
261 yearlabel_opts=opts.CalendarYearLabelOpts(is_show=False),
262 ),
263 tooltip_opts='{c}',
264 )
265 .set_global_opts(
266 title_opts=opts.TitleOpts(
267 pos_top="2%",
268 pos_left="center",
269 title=""
270 ),
271 visualmap_opts=opts.VisualMapOpts(
272 orient="horizontal",
273 max_=800,
274 pos_bottom='10%',
275 is_piecewise=True,
276 pieces=[{"min": 600},
277 {"min": 300, "max": 599},
278 {"min": 200, "max": 299},
279 {"min": 160, "max": 199},
280 {"min": 100, "max": 159},
281 {"max": 99}],
282 range_color=['#ffeda0','#fed976','#fd8d3c','#fc4e2a','#e31a1c','#b10026']
283
284 ),
285 legend_opts=opts.LegendOpts(is_show=True,
286 pos_top='5%',
287 item_width = 50,
288 item_height = 30,
289 textstyle_opts=opts.TextStyleOpts(font_size=16,color='#EB1934'),
290 legend_icon ='path://path://M465.621333 469.333333l-97.813333-114.133333a21.333333 21.333333 0 1 1 32.384-27.733333L512 457.856l111.786667-130.432a21.333333 21.333333 0 1 1 32.426666 27.776L558.357333 469.333333h81.493334c11.84 0 21.461333 9.472 21.461333 21.333334 0 11.776-9.6 21.333333-21.482667 21.333333H533.333333v85.333333h106.517334c11.861333 0 21.482667 9.472 21.482666 21.333334 0 11.776-9.6 21.333333-21.482666 21.333333H533.333333v127.850667c0 11.861333-9.472 21.482667-21.333333 21.482666-11.776 0-21.333333-9.578667-21.333333-21.482666V640h-106.517334A21.354667 21.354667 0 0 1 362.666667 618.666667c0-11.776 9.6-21.333333 21.482666-21.333334H490.666667v-85.333333h-106.517334A21.354667 21.354667 0 0 1 362.666667 490.666667c0-11.776 9.6-21.333333 21.482666-21.333334h81.472zM298.666667 127.957333C298.666667 104.405333 317.824 85.333333 341.12 85.333333h341.76C706.304 85.333333 725.333333 104.490667 725.333333 127.957333v42.752A42.645333 42.645333 0 0 1 682.88 213.333333H341.12C317.696 213.333333 298.666667 194.176 298.666667 170.709333V127.957333zM341.333333 170.666667h341.333334V128H341.333333v42.666667z m-105.173333-42.666667v42.666667H170.752L170.666667 895.893333 853.333333 896V170.773333L789.909333 170.666667V128h63.296C876.842667 128 896 147.072 896 170.773333v725.12C896 919.509333 877.013333 938.666667 853.333333 938.666667H170.666667a42.666667 42.666667 0 0 1-42.666667-42.773334V170.773333C128 147.157333 147.114667 128 170.752 128h65.408z'
291 ),
292 )
293 )
294 Cal.render('五月每日订单量分析图.html')
295
296 # 词云
297 g = df3.groupby('商品名称').sum()
298 drug_list = []
299 for idx, value in enumerate(list(g.index)):
300 drug_list += [value] * list(g['销售数量'].values)[idx]
301 stylecloud.gen_stylecloud(
302 text=' '.join(drug_list),
303 font_path=r'STXINWEI.TTF',
304 palette='cartocolors.qualitative.Bold_5',# 设置配色方案
305 icon_name='fas fa-lock', # 设置蒙版方案
306 # background_color='black',
307 max_font_size=200,
308 output_name='药品销量.png',
309 )
310 Image.open("药品销量.png")
311
312 data_copy = df.copy()
313 data_copy.drop(data_copy.columns[0], axis=1, inplace=True)
314 sindex = np.argsort(data_copy.isnull().sum()).values
315 # 进行缺失值的填补，利用随机森林进行填补缺失值
316 for i in sindex :
317 if data_copy.iloc[:,i].isnull().sum() == 0 :
318 continue
319 df = data_copy
320 fillc = df.iloc[:, i]
321 df = df.iloc[:,df.columns!=df.columns[i]]
322
323 #在下面的是使用了0来对特征矩阵中的缺失值的填补，
324 df_0 = SimpleImputer(missing_values=np.nan
325 ,strategy="constant"
326 ,fill_value=0
327 ).fit_transform(df)
328 Ytrain = fillc[fillc.notnull()]
329 Ytest = fillc[fillc.isnull()]
330
331 Xtrain = df_0[Ytrain.index,:]
332 Xtest = df_0[Ytest.index,:]
333
334 rfc = RandomForestRegressor()
335 rfc.fit(Xtrain, Ytrain)
336 Ypredict = rfc.predict(Xtest)
337
338 data_copy.loc[data_copy.iloc[:,i].isnull(),data_copy.columns[i]] = Ypredict
339 data_copy.isnull().sum()四、总结
在进行药品销售数量的大数据分析时，我通过对数据的分析和挖掘，得出了以下有益的结论：通过对销售数据的时间序列分析，我发现药品销售数量存在季节性波动，在春季和秋季销售数量通常较高，在夏季和冬季销售数量通常较低。在完成此设计过程中，我得到了许多收获。首先，我学会了如何进行大数据分析，包括如何清洗数据、如何使用数据分析工具进行数据分析和可视化。其次，我还学会了如何根据分析结果得出有益的结论并提出建议。在未来的工作中，我建议对数据进行更深入的分析，例如通过进行回归分析来更准确地预测药品销售数量的变化趋势，并进一步优化药品销售策略。此外，我还建议对数据进行实时更新，以便更好地反映市场变化并进行及时调整。
本文章为转载内容，我们尊重原作者对文章享有的著作权。如有内容错误或侵权问题，欢迎原作者联系我们进行内容更正或删除文章。
