5g潜在客户预测 数据分析 数据集 数学建模5g潜在客户识别

（一）选题背景：*年来，社会转型加速，国家正在加强培育数据要素市场、推进治理体系现代化、推进新型基础设施建设，致力打造全新智慧城市。而5G网络的大规模连接能力、高速率传输能力正是智慧城市建设的有力支撑5G高可靠、低时延、大带宽等特性，可高效将城市系统和服务打通、集成，提升资源运用效率，优化城市管理和服务，改善市民生活质量。加快5G用户增长与城市发展深度融合，通过信息化手段解决城镇化过程中带来的问题，既是城市可持续发展所需，也是产业新动能所在。而如何通过模型精准识别5G需求潜在用户，促进4G时代向5G时代转变，以实现基于5G深度应用的智慧城市建设至关重要基于每月用户更换5G套餐数据，分析4G用户更换5G套餐的行为特征，从更换5G套餐的4G用户的基础信息、消费行为、超套信息、宽带信息、其他信息等维度，构建5G套餐潜客识别模型，识别出目前4G用户具有更换5G套餐的需求群体，进行5G潜客营销，作为5G智慧城市打造的先头军。

 

（二）机器学习设计案例设计方案：预测4G用户是否更换5G套餐为任务，该数据来自重庆移动大数据*台，总数据量超过20W，包含44列变量信息，可自行对样本数据集中样本进行抽样，构建分类模型，同时会对用户号码、用户user_id进行脱敏，训练集14W，测试集6W，其中A榜单1W条，B榜单5W条；

 

参考来源：和鲸社区，网址：https://www.heywhale.com/home/special

数据集来源：该数据来自重庆移动大数据*台

 

（三）机器学习的实现步骤：

1.数据说明：

　　　　　　

　　　　　　　

　　　　　    　

　　　　　     

　　　　　　  

　　　　　　  

2.下载数据集：

　　　　　　

 

3.导入所需库：

#导入库
import sys
import os
print("Python version: {}". format(sys.version))
import pandas as pd # 加载csv等表格数据
print("pandas version: {}". format(pd.__version__))

import matplotlib # 画图
print("matplotlib version: {}". format(matplotlib.__version__))

import numpy as np #数据运算
print("NumPy version: {}". format(np.__version__))

import scipy as sp #高级数学运算
print("SciPy version: {}". format(sp.__version__))

import IPython
from IPython import display #美化DataFrame的输出


import sklearn #机器学习算法
print("scikit-learn version: {}". format(sklearn.__version__))

#基础库
import random
import time
import pandas as pd

#忽略警告
import warnings
warnings.filterwarnings('ignore')
print('-'*25)

from subprocess import check_output
print(check_output(["ls", "../input"]).decode("utf8"))

# 导入模型库
!pip install xgboost -i https://pypi.tuna.tsinghua.edu.cn/simple some-package
# 常见机器学习算法
from sklearn import svm, tree, linear_model, neighbors, naive_bayes, ensemble, discriminant_analysis, gaussian_process
from xgboost import XGBClassifier
# 常见函数
from sklearn.preprocessing import OneHotEncoder, LabelEncoder
from sklearn import feature_selection
from sklearn import model_selection
from sklearn import metrics
#可视化
import matplotlib as mpl
import matplotlib.pyplot as plt
import matplotlib.pylab as pylab
import seaborn as sns
from pandas.plotting import scatter_matrix
#配置可视化
%matplotlib inline
mpl.style.use('ggplot')
sns.set_style('white')
pylab.rcParams['figure.figsize'] = 12,8
#收藏评论
import matplotlib.font_manager as font_manager
import matplotlib as mpl
font_dirs = ['/home/kesci/work/fonts/', ]
font_files = font_manager.findSystemFonts(fontpaths=font_dirs)
font_list = font_manager.createFontList(font_files)
font_manager.fontManager.ttflist.extend(font_list)

mpl.rcParams['font.family'] = 'SimHei'
font_list

4.读取数据集：

#一.读取数据集
train_X=pd.read_csv('/home/train_set.csv')
train_y=pd.read_csv('/home/train_label.csv')
train_x.shape,train_y.shape
#查看前3行
train=pd.merge(train_x,train_y,how='inner',on='user_id')
train.head(3)
# 数据类型
train.dtypes
# 数值型特征描述
train.describe()

 

 

 

5.数据清洗：

#1.Correcting(修正)：检查数据，似乎没有任何异常或不可接受的数据输入。
#2.Completing(填充)：年龄，机舱和出发区域中存在空值或缺少数据。缺少值可能很糟糕，因为某些算法不知道如何处理空值，并且会失败。而其他的（例如决策树）可以处理空值。
#3.Creating(创造)：特征工程是当我们使用现有特征来创建新特征以确定它们是否提供新信号来预测我们的结果时。
#4.Converting(转换)：最后，但同样重要的是，我们将处理格式化。 没有日期或货币格式，但有数据类型格式。

#处理空值
print('训练集每列包括空值个数:\n', train.isnull().sum())
print("-"*10)
print('测试集每列包括空值个数:\n', test.isnull().sum())
print("-"*10)

train.describe(include = 'all')
#data.fillna(-1,inplace=True) #（在探查中,数据的范围>0,以-1来代替空值）

#缺失值统计
def missing_values_table(df):
    mis_val = df.isnull().sum()
    mis_val_percent = 100 * df.isnull().sum() / len(df)
    mis_val_table = pd.concat([mis_val, mis_val_percent], axis=1)
    mis_val_table_ren_columns = mis_val_table.rename(
    columns = {0 : 'Missing Values', 1 : '% of Total Values'})
    mis_val_table_ren_columns = mis_val_table_ren_columns[
        mis_val_table_ren_columns.iloc[:,1] != 0].sort_values(
    '% of Total Values', ascending=False).round(1)
    print ("Your selected dataframe has " + str(df.shape[1]) + " columns.\n"      
        "There are " + str(mis_val_table_ren_columns.shape[0]) +
            " columns that have missing values.")
    return mis_val_table_ren_columns

# 缺失值统计
missing_values_table(train)
no_features=['用户标识','label']
numberical_cols=[col for col in train.select_dtypes('number').columns if col not in no_features]
categorical_cols=[col for col in train.columns if col not in no_features+numberical_cols]
print(len(no_features),len(categorical_cols),len(numberical_cols))
# numberical_cols
for dataset in [train,test]:  
    # 通过中位数对数值型变量缺失值填充
    for col in  numberical_cols:
        dataset[col].fillna(dataset[col].median(), inplace = True)
    # 通过众数对类别性变量缺失值填充
    for col in categorical_cols:
        dataset[col].fillna(dataset[col].mode()[0], inplace = True)

#查看处理后的效果
print(train.isnull().sum())
print("-"*10)
print(test.isnull().sum())

 

 

 

6.数值变量分箱和直方图分布：

#数值变量分箱和直方图分布
 # 数值变量分布
plt.figure(figsize=[16,12])

plt.subplot(231)
plt.boxplot(x=train['在网时长'], showmeans = True, meanline = True)
plt.title('在网时长 Boxplot')
plt.ylabel('在网时长')

plt.subplot(232)
plt.boxplot(x=train['年龄'], showmeans = True, meanline = True)
plt.title('年龄 Boxplot')
plt.ylabel('年龄 (年)')

plt.subplot(233)
plt.boxplot(train['宽带带宽'], showmeans = True, meanline = True)
plt.title('宽带带宽 Boxplot')
plt.ylabel('宽带带宽 (#)')

plt.subplot(234)
plt.hist(x = [train[train['label']==1]['在网时长'], train[train['label']==0]['在网时长']], 
         stacked=True, color = ['g','r'],label = ['label','5g'])
plt.title('在网时长 Histogram by 5g user')
plt.xlabel('在网时长 ($)')
plt.ylabel('# of Passengers')
plt.legend()

plt.subplot(235)
plt.hist(x = [train[train['label']==1]['年龄'], train[train['label']==0]['年龄']], 
         stacked=True, color = ['g','r'],label = ['label','5g'])
plt.title('年龄 Histogram by label')
plt.xlabel('年龄 (Years)')
plt.ylabel('# of Passengers')
plt.legend()

plt.subplot(236)
plt.hist(x = [train[train['label']==1]['宽带带宽'], train[train['label']==0]['宽带带宽']], 
         stacked=True, color = ['g','r'],label = ['label','5g'])
plt.title('宽带带宽 Histogram by label')
plt.xlabel('宽带带宽 (#)')
plt.ylabel('# of Passengers')
plt.legend()

       

 

 

 

 7.离散变量的统计树状图：

#离散变量的统计树状图
# 离散变量
fig, saxis = plt.subplots(2, 3,figsize=(16,12))

sns.barplot(x = '性别', y = 'label', data=train, ax = saxis[0,0])
sns.barplot(x = '星级', y = 'label', order=[1,2,3], data=train, ax = saxis[0,1])
sns.barplot(x = '细分市场', y = 'label', order=[1,0], data=train, ax = saxis[0,2])

sns.pointplot(x = '终端类型', y = 'label',  data=train, ax = saxis[1,0])
sns.pointplot(x = '是否本网宽带用户', y = 'label',  data=train, ax = saxis[1,1])
sns.pointplot(x = '当月是否换机', y = 'label', data=train, ax = saxis[1,2])

       

 

8.是否成为5g用户的变量分析：

#是否成为5g用户的变量分析
fig, (axis1,axis2,axis3) = plt.subplots(1,3,figsize=(14,12))

sns.boxplot(x = '细分市场', y = '在网时长', hue = 'label', data = train, ax = axis1)
axis1.set_title('细分市场 vs 在网时长 label 对比')

sns.violinplot(x = '细分市场', y = '年龄', hue = 'label', data = train, split = True, ax = axis2)
axis2.set_title('细分市场 vs 年龄 label 对比')

sns.boxplot(x = '细分市场', y ='当月语音超套金额', hue = 'label', data = train, ax = axis3)
axis3.set_title('细分市场 vs 当月语音超套金额  label 对比')

                   

#性别 vs 居住地是否涵盖5g标识 label 对比
fig, qaxis = plt.subplots(1,3,figsize=(14,12))

sns.barplot(x = '性别', y = 'label', hue = '是否家庭用户', data=train, ax = qaxis[0])
axis1.set_title('性别 vs 是否家庭用户 label 对比')

sns.barplot(x = '性别', y = 'label', hue = '终端类型', data=train, ax  = qaxis[1])
axis1.set_title('性别 vs 终端类型 label 对比')

sns.barplot(x = '性别', y = 'label', hue = '居住地是否涵盖5g标识', data=train, ax  = qaxis[2])
axis1.set_title('性别 vs 居住地是否涵盖5g标识 label 对比')

                    

#细分市场and上网市场
fig, (maxis1, maxis2) = plt.subplots(1, 2,figsize=(14,12))

#how does 细分市场 factor with 性别 & label compare
sns.pointplot(x="细分市场", y="label", hue="性别", data=train,
              palette={1: "blue", 0: "pink"},
              markers=["*", "o"], linestyles=["-", "--"], ax = maxis1)

#how does 上网市场 factor with 性别 & label compare
sns.pointplot(x="在网时长", y="label", hue="性别", data=train,
              palette={1: "blue", 0: "pink"},
              markers=["*", "o"], linestyles=["-", "--"], ax = maxis2)

              

#how does 终端类型  factor with 细分市场, 性别, and label compare

e = sns.FacetGrid(train, col = '终端类型')
e.map(sns.pointplot, '细分市场', 'label', '性别', ci=95.0, palette = 'deep')
e.add_legend()

          

#年龄
a = sns.FacetGrid( train, hue = 'label', aspect=4 )
a.map(sns.kdeplot, '年龄', shade= True )
a.set(xlim=(0 , train['年龄'].max()))
a.add_legend()

            

#年龄性别
h = sns.FacetGrid(train, row = '性别', col = '细分市场', hue = 'label')
h.map(plt.hist, '年龄', alpha = .75)
h.add_legend()

         

 

pp = sns.pairplot(train[['性别','年龄','星级','在网时长','细分市场','label']], hue = 'label', palette = 'deep', size=1.2, diag_kind = 'kde', diag_kws=dict(shade=True), plot_kws=dict(s=10) )
pp.set(xticklabels=[])

             

（四）、总结：

　　本课程设计通过对本案例的机器学习过程实现，我发现男性的上网时长比女性多，而且他们比较趋向会开通5G网络；我在完成此设计过程中，收获了进行机器学习里的数据清洗步骤非常重要，处理后的数据再进行可视化分析，远远比清洗前预测的结果更加准确。当然我这里的测试只涵盖了一小部分，后续还可以更加完善，比如使用GaussianNB 朴素贝叶斯、RandomForestClassifier随机森林、KNeighborsClassifier实现K*邻算法算法来计算（我这里用了逻辑回归和决策树）。

全部代码附上：

1 #导入库
  2 import sys
  3 import os
  4 print("Python version: {}". format(sys.version))
  5 import pandas as pd # 加载csv等表格数据
  6 print("pandas version: {}". format(pd.__version__))
  7 import matplotlib # 画图
  8 print("matplotlib version: {}". format(matplotlib.__version__))
  9 import numpy as np #数据运算
 10 print("NumPy version: {}". format(np.__version__))
 11 import scipy as sp #高级数学运算
 12 print("SciPy version: {}". format(sp.__version__))
 13 import IPython
 14 from IPython import display #美化DataFrame的输出
 15 import sklearn #机器学习算法
 16 print("scikit-learn version: {}". format(sklearn.__version__))
 17 #基础库
 18 import random
 19 import time
 20 import pandas as pd
 21 #忽略警告
 22 import warnings
 23 warnings.filterwarnings('ignore')
 24 print('-'*25)
 25 from subprocess import check_output
 26 print(check_output(["ls", "../input"]).decode("utf8"))
 27 # 导入模型库
 28 !pip install xgboost -i https://pypi.tuna.tsinghua.edu.cn/simple some-package
 29 # 常见机器学习算法
 30 from sklearn import svm, tree, linear_model, neighbors, naive_bayes, ensemble, discriminant_analysis, gaussian_process
 31 from xgboost import XGBClassifier
 32 # 常见函数
 33 from sklearn.preprocessing import OneHotEncoder, LabelEncoder
 34 from sklearn import feature_selection
 35 from sklearn import model_selection
 36 from sklearn import metrics
 37 #可视化
 38 import matplotlib as mpl
 39 import matplotlib.pyplot as plt
 40 import matplotlib.pylab as pylab
 41 import seaborn as sns
 42 from pandas.plotting import scatter_matrix
 43 #配置可视化
 44 %matplotlib inline
 45 mpl.style.use('ggplot')
 46 sns.set_style('white')
 47 pylab.rcParams['figure.figsize'] = 12,8
 48 #收藏评论
 49 import matplotlib.font_manager as font_manager
 50 import matplotlib as mpl
 51 font_dirs = ['/home/kesci/work/fonts/', ]
 52 font_files = font_manager.findSystemFonts(fontpaths=font_dirs)
 53 font_list = font_manager.createFontList(font_files)
 54 font_manager.fontManager.ttflist.extend(font_list)
 55 mpl.rcParams['font.family'] = 'SimHei'
 56 font_list
 57 pd.set_option('display.max_columns', 50) # 设置显示的最大列数
 58 
 59 #一.读取数据集
 60 train_X=pd.read_csv('/home/train_set.csv')
 61 train_y=pd.read_csv('/home/train_label.csv')
 62 train_x.shape,train_y.shape
 63 train=pd.merge(train_x,train_y,how='inner',on='user_id')
 64 train.head(3)  #查看前3行
 65 train.dtypes  # 数据类型
 66 train.describe()  # 数值型特征描述
 67 
 68 test_y_a=pd.read_csv(os.path.join(data_dir,'result_predict_A.csv'))
 69 test_y_b=pd.read_csv(os.path.join(data_dir,'result_predict_B.csv'))
 70 test_y_a.shape,test_y_b.shape  #查看测试集类型
 71 test=pd.concat([test_y_a,test_y_b]).reset_index(drop=True)
 72 test.shape
 73 train.columns
 74 # 中英文列名替换
 75 chinese_cols=['用户标识','用户号码','性别','年龄','星级','在网时长','细分市场','当月arpu','上月arpu','上上月arpu',
 76 '当月dou','上月dou','上上月dou','当月mou','上月mou','上上月mou',
 77 '*三月*均arpu','*三月*均dou','*三月*均mou','当月语音超套金额','上月语音超套金额','上上月语音超套金额',
 78 '当月流量超套金额','上月流量超套金额','上上月流量超套金额','是否本网宽带用户','是否异网宽带用户',
 79 '宽带带宽','宽带是否激活','宽带捆绑签约标识','终端捆绑签约标识','话费签约标识','套餐签约标识','用户总套餐价值',
 80 '用户主资费套餐','当月用户流量饱和度','上月用户流量饱和度','上上月用户流量饱和度','是否家庭用户',
 81 '5G流量','终端类型','当月是否抵消保号用户','当月是否换机','居住地是否涵盖5g标识','工作地是否涵盖5g标识']
 82 len(chinese_cols)
 83 train.columns=chinese_cols+['label']
 84 test.columns=chinese_cols
 85 train.head(2)
 86 
 87 #二.数据清洗
 88 #1.Correcting(修正)：检查数据，似乎没有任何异常或不可接受的数据输入。
 89 #2.Completing(填充)：年龄，机舱和出发区域中存在空值或缺少数据。缺少值可能很糟糕，因为某些算法不知道如何处理空值，并且会失败。而其他的（例如决策树）可以处理空值。
 90 #3.Creating(创造)：特征工程是当我们使用现有特征来创建新特征以确定它们是否提供新信号来预测我们的结果时。
 91 #4.Converting(转换)：最后，但同样重要的是，我们将处理格式化。 没有日期或货币格式，但有数据类型格式。
 92 data=train_X.merge(train_y,on='user_id') #整合数据
 93 #处理空值
 94 print('训练集每列包括空值个数:\n', train.isnull().sum())
 95 print("-"*10)
 96 print('测试集每列包括空值个数:\n', test.isnull().sum())
 97 print("-"*10)
 98 train.describe(include = 'all')
 99 #data.fillna(-1,inplace=True) #（在探查中,数据的范围>0,以-1来代替空值）
100 #缺失值统计
101 def missing_values_table(df):
102     mis_val = df.isnull().sum()
103     mis_val_percent = 100 * df.isnull().sum() / len(df)
104     mis_val_table = pd.concat([mis_val, mis_val_percent], axis=1)
105     mis_val_table_ren_columns = mis_val_table.rename(
106     columns = {0 : 'Missing Values', 1 : '% of Total Values'})
107     mis_val_table_ren_columns = mis_val_table_ren_columns[
108         mis_val_table_ren_columns.iloc[:,1] != 0].sort_values(
109     '% of Total Values', ascending=False).round(1)
110     print ("Your selected dataframe has " + str(df.shape[1]) + " columns.\n"
111         "There are " + str(mis_val_table_ren_columns.shape[0]) +
112             " columns that have missing values.")
113     return mis_val_table_ren_columns
114 # 缺失值统计
115 missing_values_table(train)
116 no_features=['用户标识','label']
117 numberical_cols=[col for col in train.select_dtypes('number').columns if col not in no_features]
118 categorical_cols=[col for col in train.columns if col not in no_features+numberical_cols]
119 print(len(no_features),len(categorical_cols),len(numberical_cols))
120 # numberical_cols
121 for dataset in [train,test]:
122     # 通过中位数对数值型变量缺失值填充
123     for col in  numberical_cols:
124         dataset[col].fillna(dataset[col].median(), inplace = True)
125     # 通过众数对类别性变量缺失值填充
126     for col in categorical_cols:
127         dataset[col].fillna(dataset[col].mode()[0], inplace = True)
128 #查看处理后的效果
129 print(train.isnull().sum())
130 print("-"*10)
131 print(test.isnull().sum())
132 #类别变量编码
133 tmp=pd.concat([train,test],axis=0)
134 # 类别变量：X1和X5
135 label = LabelEncoder()
136 for col in ['性别','细分市场']:
137     for dataset in [train,test]:
138         label.fit(tmp[col])
139         dataset[col]=label.transform(dataset[col])
140 train['性别']
141 #再次检查清洗后的数据
142 print('训练集每列包括空值个数:\n', train.isnull().sum())
143 print("-"*10)
144 print('测试集每列包括空值个数:\n', test.isnull().sum())
145 print("-"*10)
146 train.describe(include = 'all')
147 #删除无用值（用户的ID和号码已经没有实际意义,可以删除）
148 data.drop(columns=['user_id','product_no'],inplace=True)
149 
150 #三.保存数据
151 data.to_csv('data.csv',index=False)
152 
153 #数值变量分箱和直方图分布
154  # 数值变量分布
155 plt.figure(figsize=[16,12])
156 plt.subplot(231)
157 plt.boxplot(x=train['在网时长'], showmeans = True, meanline = True)
158 plt.title('在网时长 Boxplot')
159 plt.ylabel('在网时长')
160 
161 plt.subplot(232)
162 plt.boxplot(x=train['年龄'], showmeans = True, meanline = True)
163 plt.title('年龄 Boxplot')
164 plt.ylabel('年龄 (年)')
165 
166 plt.subplot(233)
167 plt.boxplot(train['宽带带宽'], showmeans = True, meanline = True)
168 plt.title('宽带带宽 Boxplot')
169 plt.ylabel('宽带带宽 (#)')
170 
171 plt.subplot(234)
172 plt.hist(x = [train[train['label']==1]['在网时长'], train[train['label']==0]['在网时长']],
173          stacked=True, color = ['g','r'],label = ['label','5g'])
174 plt.title('在网时长 Histogram by 5g user')
175 plt.xlabel('在网时长 ($)')
176 plt.ylabel('# of Passengers')
177 plt.legend()
178 
179 plt.subplot(235)
180 plt.hist(x = [train[train['label']==1]['年龄'], train[train['label']==0]['年龄']],
181          stacked=True, color = ['g','r'],label = ['label','5g'])
182 plt.title('年龄 Histogram by label')
183 plt.xlabel('年龄 (Years)')
184 plt.ylabel('# of Passengers')
185 plt.legend()
186 
187 plt.subplot(236)
188 plt.hist(x = [train[train['label']==1]['宽带带宽'], train[train['label']==0]['宽带带宽']],
189          stacked=True, color = ['g','r'],label = ['label','5g'])
190 plt.title('宽带带宽 Histogram by label')
191 plt.xlabel('宽带带宽 (#)')
192 plt.ylabel('# of Passengers')
193 plt.legend()
194 
195 #离散变量的统计树状图
196 # 离散变量
197 fig, saxis = plt.subplots(2, 3,figsize=(16,12))
198 sns.barplot(x = '性别', y = 'label', data=train, ax = saxis[0,0])
199 sns.barplot(x = '星级', y = 'label', order=[1,2,3], data=train, ax = saxis[0,1])
200 sns.barplot(x = '细分市场', y = 'label', order=[1,0], data=train, ax = saxis[0,2])
201 sns.pointplot(x = '终端类型', y = 'label',  data=train, ax = saxis[1,0])
202 sns.pointplot(x = '是否本网宽带用户', y = 'label',  data=train, ax = saxis[1,1])
203 sns.pointplot(x = '当月是否换机', y = 'label', data=train, ax = saxis[1,2])
204 
205 #是否成为5g用户的变量分析
206 fig, (axis1,axis2,axis3) = plt.subplots(1,3,figsize=(14,12))
207 sns.boxplot(x = '细分市场', y = '在网时长', hue = 'label', data = train, ax = axis1)
208 axis1.set_title('细分市场 vs 在网时长 label 对比')
209 
210 sns.violinplot(x = '细分市场', y = '年龄', hue = 'label', data = train, split = True, ax = axis2)
211 axis2.set_title('细分市场 vs 年龄 label 对比')
212 
213 sns.boxplot(x = '细分市场', y ='当月语音超套金额', hue = 'label', data = train, ax = axis3)
214 axis3.set_title('细分市场 vs 当月语音超套金额  label 对比')
215 
216 fig, qaxis = plt.subplots(1,3,figsize=(14,12))
217 sns.barplot(x = '性别', y = 'label', hue = '是否家庭用户', data=train, ax = qaxis[0])
218 axis1.set_title('性别 vs 是否家庭用户 label 对比')
219 
220 sns.barplot(x = '性别', y = 'label', hue = '终端类型', data=train, ax  = qaxis[1])
221 axis1.set_title('性别 vs 终端类型 label 对比')
222 
223 sns.barplot(x = '性别', y = 'label', hue = '居住地是否涵盖5g标识', data=train, ax  = qaxis[2])
224 axis1.set_title('性别 vs 居住地是否涵盖5g标识 label 对比')
225 fig, (maxis1, maxis2) = plt.subplots(1, 2,figsize=(14,12))
226 
227 #how does 细分市场 factor with 性别 & label compare
228 sns.pointplot(x="细分市场", y="label", hue="性别", data=train,
229               palette={1: "blue", 0: "pink"},
230               markers=["*", "o"], linestyles=["-", "--"], ax = maxis1)
231 
232 #how does 上网市场 factor with 性别 & label compare
233 sns.pointplot(x="在网时长", y="label", hue="性别", data=train,
234               palette={1: "blue", 0: "pink"},
235               markers=["*", "o"], linestyles=["-", "--"], ax = maxis2)
236 
237 #how does 终端类型  factor with 细分市场, 性别, and label compare
238 e = sns.FacetGrid(train, col = '终端类型')
239 e.map(sns.pointplot, '细分市场', 'label', '性别', ci=95.0, palette = 'deep')
240 e.add_legend()
241 
242 #年龄
243 a = sns.FacetGrid( train, hue = 'label', aspect=4 )
244 a.map(sns.kdeplot, '年龄', shade= True )
245 a.set(xlim=(0 , train['年龄'].max()))
246 a.add_legend()
247 
248 #年龄性别
249 h = sns.FacetGrid(train, row = '性别', col = '细分市场', hue = 'label')
250 h.map(plt.hist, '年龄', alpha = .75)
251 h.add_legend()
252 
253 pp = sns.pairplot(train[['性别','年龄','星级','在网时长','细分市场','label']], hue = 'label', palette = 'deep', size=1.2, diag_kind = 'kde', diag_kws=dict(shade=True), plot_kws=dict(s=10) )
254 pp.set(xticklabels=[])
255 
256 #四.机器学习预处理
257 #训练集和测试集的拆分
258 from sklearn.model_selection import train_test_split
259 train_x,test_x,train_y,test_y=train_test_split(data.iloc[:,:-1],data.iloc[:,-1])
260 #评估指标函数设置
261 from sklearn.metrics import precision_score,recall_score,roc_auc_score
262 def metric(Y):
263     print('准确率',precision_score(Y,test_y,average='micro'))
264     print('召回率',recall_score(Y,test_y,average='micro'))
265     print('AUC:',roc_auc_score(Y,test_y))
266 
267 #五.单一模型优化、寻找参数
268 from sklearn.model_selection import GridSearchCV
269 #1.LogisticRegression逻辑回归
270 from sklearn.linear_model import LogisticRegression
271 # 下列参数是经选择后的最优参数
272 param_grid={'penalty':['l2'],'solver':['newton-cg'],'multi_class':['auto']}
273 Model_1=GridSearchCV(estimator=LogisticRegression(),param_grid=param_grid,n_jobs=-1)
274 Model_1.fit(train_x,train_y)
275 Model_1.best_params_
276 Model_1.best_score_
277 metric(Model_1.predict(test_x))
278 #2.DecisionTreeClassifier(决策树分类)
279 from sklearn.tree import DecisionTreeClassifier
280 # 下列参数是经选择后的最优参数
281 param_grid={'criterion':["entropy"],'max_depth':[7],'min_samples_split':[3]}
282 Model_2=GridSearchCV(estimator=DecisionTreeClassifier(),param_grid=param_grid,n_jobs=-1)
283 Model_2.fit(train_x,train_y)
284 Model_2.best_params_
285 Model_2.best_score_
286 metric(Model_2.predict(test_x))
287 
288 #六.模型融合
289 from sklearn.ensemble import VotingClassifier
290 #1.定义优参模型
291 clr1=LogisticRegression(multi_class='auto',penalty='l2',solver='newton-cg')
292 clr2=DecisionTreeClassifier(criterion='entropy',max_depth=7,min_samples_split=3)
293 clr4=GaussianNB()
294 clr5=RandomForestClassifier(criterion='entropy',max_features='auto',min_samples_leaf=4,min_samples_split=46,n_estimators=130)
295 clr6=GradientBoostingClassifier(learning_rate= 0.3,loss='deviance',min_samples_leaf=1,min_samples_split=2)
296 #2.准确度投票
297 model_准确度投票=VotingClassifier(estimators=[
298                         ('DT', clr2),('Rd',clr5),('Gb',clr6)],
299                         voting='hard',
300                         weights=[0.8763,0.8813,8811]
301 
302                          )
303 model_准确度投票.fit(train_x,train_y)
304 metric(model_准确度投票.predict(test_x))
305 #3.AUC投票
306 metric(Model_5.predict(test_x))
307 model_AUC投票=VotingClassifier(estimators=[
308                          ('Rd',clr5),('Gb',clr6)],
309                           voting='hard',
310                          )
311 model_AUC投票.fit(train_x,train_y)
312 metric(model_AUC投票.predict(test_x))