寻找数据集最佳的缺失值的填补方法(分析思路的整理):
第一步,导入需要用到的库;
第二步,导入完整的数据集并进行探索,以波士顿数据为例
例如:将特征数据集和标签数据集分出来
X_full, y_full = dataset.data, dataset.target
# 找出特征列的的行列的范围
n_samples = X_full . shape [ 0 ]
n_features = X_full . shape [ 1 ]
第三步,为完整数据集放入缺失值
首先设置一个缺失的比例,计算出缺失的数据的数量
然后从特征的行列索引范围内,随机取要选的数量
missing_features = rng.randint(0,n_features,n_missing_samples)
# randint(下限,上限,n) ,意思是请在下限和上限之间取出n个整数missing_samples = rng.randint(0,n_samples,n_missing_samples)
最后,防止操作错误,先复制数据集,然后,将选出的索引值的位置用nan填充
X_missing = X_full.copy()
y_missing = y_full.copy()X_missing[missing_samples,missing_features] = np.nan
第四步, 使用0和均值填补缺失值
第一种:使用均值填补缺失值
#使用均值进行填补
from sklearn.impute import SimpleImputer
imp_mean = SimpleImputer(missing_values=np.nan, strategy='mean') # 实例化
X_missing_mean = imp_mean.fit_transform(X_missing) # 训练fit+导出predict 》》》特殊的接口fit_transform
第二种:使用0去填充
# 数据用0进行填充
imp_0 = SimpleImputer(missing_values=np.nan, strategy="constant",fill_value=0) # constant 是指常数
X_missing_0 = imp_0.fit_transform(X_missing)
第五步,使用随机森林填补缺失值
首先,将原始的特征列复制一份数据集,找出数据集中,缺失值从小到大排列的特征们的顺序
X_missing_reg = X_missing.copy()
# 找出数据集中,缺失值从小到大排列的特征们的顺序,有了这些特征的索引
sortindex = np.argsort(X_missing_reg.isnull().sum(axis=0)).values
# np.sort()会返回从小到大排序的值,会丢掉索引
# np.argsort()会返回从小到大排序的顺序所对应的索引,数组array
然后,做循环(整个过程大致可以分为五步),从缺失值最大的开始。
参考代码:
for i in sortindex:
#构建我们的新特征矩阵(没有被选中去填充的特征+原始的标签)和新标签(被选中去填充的标签)
df = X_missing_reg # 目的是为了在进行循环时,缺失的特征值用0的填充,不改变原有的数据集
fillc = df.iloc[:,i]
df = pd.concat([df.iloc[:,df.columns != i],pd.DataFrame(y_full)],axis=1)
#在新特征矩阵中,对含有缺失值的列,进行0的填补;先实例化,后接口,一步到位
df_0 =SimpleImputer(missing_values=np.nan,
strategy='constant',fill_value=0).fit_transform(df)
#找出我们的训练集和测试集
Ytrain = fillc[fillc.notnull()]
Ytest = fillc[fillc.isnull()]
Xtrain = df_0[Ytrain.index,:]
Xtest = df_0[Ytest.index,:]
#用随机森林回归来填补缺失值
rfc = RandomForestRegressor(n_estimators=100)
rfc = rfc.fit(Xtrain, Ytrain)
Ypredict = rfc.predict(Xtest)
#将填补好的特征返回到我们的原始的特征矩阵中,用切片和索引来做
X_missing_reg.loc[X_missing_reg.iloc[:,i].isnull(),i] = Ypredict
第六步, 对填补好的数据进行建模
对所有的数据进行建模,取得mse结果
#对所有数据进行建模,取得MSE结果
X = [X_full,X_missing_mean,X_missing_0,X_missing_reg]
mse = []
for x in X:
estimator = RandomForestRegressor(random_state=0, n_estimators=100) # shilihua
scores = cross_val_score(estimator,x,y_full,scoring='neg_mean_squared_error',
cv=5).mean()
mse.append(scores * -1)
第七步,用所画的结果画出条形图
通过在条形图上进行对比,观察四种情况之下的拟合状况。