0%

缺失值填充的几种方法

发表于 分类于

面试不仅仅是一个找工作的过程，还是一个向面试官交流学习的过程。之前的某次面试中，聊到了缺失值填充方法，经面试官指点学到了一些技能，下面简要总结一下。

常见的缺失值填充方法有填充默认值、均值、众数、KNN 填充、以及把缺失值作为新的 label 通过模型来预测等方式，为了介绍这几种填充方法的使用以及填充效果，本文将在真实数据集上进行简单比较。

  1. 数据集介绍

数据集来源于 天池精准医疗大赛——人工智能辅助糖尿病遗传风险预测。该数据集共有 1000 条数据，特征共 83 维，加上 id 和 label 共 85 列，每维特征缺失数量范围为 0~911。为了简单比较各种填充方法的效果，我们选取最简单的二分类模型（逻辑回归），选取 F1 score 作为评测指标。

读取数据集代码如下：

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
train_data = pd.read_csv('train_data.csv', encoding='gbk') # 读取数据集
filter_feature = ['id','label'] # 过滤无用的维度
features = []
for x in train_data.columns: # 取特征
    if x not in filter_feature:
        features.append(x)
train_data_x = train_data[features]
train_data_y = train_data['label']
X_train, X_test, y_train, y_test = train_test_split(train_data_x, train_data_y, random_state=1) # 划分训练集、测试集
train_data = pd.read_csv('train_data.csv', encoding='gbk') # 读取数据集

filter_feature = ['id','label'] # 过滤无用的维度
features = []
for x in train_data.columns: # 取特征
    if x not in filter_feature:
        features.append(x)

train_data_x = train_data[features]
train_data_y = train_data['label']
X_train, X_test, y_train, y_test = train_test_split(train_data_x, train_data_y, random_state=1) # 划分训练集、测试集
  1. 常见的填充方法

（1）填充固定值

选取某个固定值 / 默认值填充缺失值。

1
train_data.fillna(0, inplace=True) # 填充 0

（2）填充均值

对每一列的缺失值，填充当列的均值。

1
train_data.fillna(train_data.mean(),inplace=True) # 填充均值

（3）填充中位数

对每一列的缺失值，填充当列的中位数。

1
train_data.fillna(train_data.median(),inplace=True) # 填充中位数

（4）填充众数

对每一列的缺失值，填充当列的众数。由于存在某列缺失值过多，众数为 nan 的情况，因此这里取的是每列删除掉 nan 值后的众数。

1
2
3
4
5
6
7
8
9
10
11
12
train_data.fillna(train_data.mode(),inplace=True) # 填充众数,该数据缺失太多众数出现为nan的情况
features_mode = {}
for f in features:
    print f,':', list(train_data[f].dropna().mode().values)
    features_mode[f] = list(train_data[f].dropna().mode().values)[0]
train_data.fillna(features_mode,inplace=True)
train_data.fillna(train_data.mode(),inplace=True) # 填充众数,该数据缺失太多众数出现为nan的情况
features_mode = {}
for f in features:
    print f,':', list(train_data[f].dropna().mode().values)
    features_mode[f] = list(train_data[f].dropna().mode().values)[0]
train_data.fillna(features_mode,inplace=True)

（5）填充上下条的数据

对每一条数据的缺失值，填充其上下条数据的值。

1
2
3
4
5
6
7
8
9
train_data.fillna(method='pad', inplace=True) # 填充前一条数据的值，但是前一条也不一定有值
train_data.fillna(0, inplace=True)
train_data.fillna(method='bfill', inplace=True) # 填充后一条数据的值，但是后一条也不一定有值
train_data.fillna(0, inplace=True)
train_data.fillna(method='pad', inplace=True) # 填充前一条数据的值，但是前一条也不一定有值
train_data.fillna(0, inplace=True)

train_data.fillna(method='bfill', inplace=True) # 填充后一条数据的值，但是后一条也不一定有值
train_data.fillna(0, inplace=True)

（6）填充插值得到的数据

用插值法拟合出缺失的数据，然后进行填充。

1
2
3
4
5
6
7
for f in features: # 插值法填充
    train_data[f] = train_data[f].interpolate()
train_data.dropna(inplace=True)
for f in features: # 插值法填充
    train_data[f] = train_data[f].interpolate()

train_data.dropna(inplace=True)

（7）填充 KNN 数据

填充近邻的数据，先利用 knn 计算临近的 k 个数据，然后填充他们的均值。（安装 fancyimpute）除了 knn 填充，fancyimpute 还提供了其他填充方法。

1
2
3
4
5
from fancyimpute import KNN
train_data_x = pd.DataFrame(KNN(k=6).fit_transform(train_data_x), columns=features)
from fancyimpute import KNN

train_data_x = pd.DataFrame(KNN(k=6).fit_transform(train_data_x), columns=features)

（8）填充模型预测的值

把缺失值作为新的 label，建立模型得到预测值，然后进行填充。这里选择某个缺失值数量适当的特征采用随机森林 RF 进行拟合，其他缺失特征采用均值进行填充。

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
new_label = 'SNP46'
new_features = []
for f in features:
    if f != new_label:
        new_features.append(f)
new_train_x = train_data[train_data[new_label].isnull()==False][new_features]
new_train_x.fillna(new_train_x.mean(), inplace=True) # 其他列填充均值
new_train_y = train_data[train_data[new_label].isnull()==False][new_label]
new_predict_x = train_data[train_data[new_label].isnull()==True][new_features]
new_predict_x.fillna(new_predict_x.mean(), inplace=True) # 其他列填充均值
new_predict_y = train_data[train_data[new_label].isnull()==True][new_label]
rfr = RandomForestRegressor(random_state=666, n_estimators=10, n_jobs=-1)
rfr.fit(new_train_x, new_train_y)
new_predict_y = rfr.predict(new_predict_x)
new_predict_y = pd.DataFrame(new_predict_y, columns=[new_label], index=new_predict_x.index)
new_predict_y = pd.concat([new_predict_x, new_predict_y], axis=1)
new_train_y = pd.concat([new_train_x, new_train_y], axis=1)
new_train_data = pd.concat([new_predict_y,new_train_y])
train_data_x = new_train_data[features]
train_data_y = train_data['label']
new_label = 'SNP46'
new_features = []
for f in features:
    if f != new_label:
        new_features.append(f)

new_train_x = train_data[train_data[new_label].isnull()==False][new_features]
new_train_x.fillna(new_train_x.mean(), inplace=True) # 其他列填充均值
new_train_y = train_data[train_data[new_label].isnull()==False][new_label]

new_predict_x = train_data[train_data[new_label].isnull()==True][new_features]
new_predict_x.fillna(new_predict_x.mean(), inplace=True) # 其他列填充均值
new_predict_y = train_data[train_data[new_label].isnull()==True][new_label]

rfr = RandomForestRegressor(random_state=666, n_estimators=10, n_jobs=-1)
rfr.fit(new_train_x, new_train_y)
new_predict_y = rfr.predict(new_predict_x)

new_predict_y = pd.DataFrame(new_predict_y, columns=[new_label], index=new_predict_x.index)
new_predict_y = pd.concat([new_predict_x, new_predict_y], axis=1)
new_train_y = pd.concat([new_train_x, new_train_y], axis=1)
new_train_data = pd.concat([new_predict_y,new_train_y])

train_data_x = new_train_data[features]
train_data_y = train_data['label']
  1. 实验对比

（1）评测指标

选取 F1 score 进行评测。

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
def countF1(train, predict):
    count = 0 # 统计预测的正确的正样本数
    for i in range(len(train)):
        if predict[i] == 1 and train[i] == 1:
            count += 1
    pre =  count * 1.0 / sum(predict) # 准确率
    recall =  count * 1.0 / sum(train) # 召回率
    return 2 * pre * recall / (pre + recall)
def countF1(train, predict):
    count = 0 # 统计预测的正确的正样本数
    for i in range(len(train)):
        if predict[i] == 1 and train[i] == 1:
            count += 1
    pre =  count * 1.0 / sum(predict) # 准确率
    recall =  count * 1.0 / sum(train) # 召回率
    return 2 * pre * recall / (pre + recall)

（2）对比结果

填充方式训练集_F1测试集_F1
默认值 00.705167170.59689922
均值（mean）0.701863350.67768595
中位数 (median)0.708268330.67479675
众数 (mode)0.704791340.68852459
上一个数据（pad）0.704097120.62711864
下一个数据（bfill）0.669811320.60169492
插值0.690184050.61333333
KNN_30.710769230.66393443
KNN_60.708978330.68852459
KNN_100.704791340.68032787
随机森林_feature30.5714285710.4
随机森林_feature460.5851393190.41509434

（3）实验小结

对于缺失值的处理，除了直接删除缺失严重的特征外，还可以选择各种各样的填充方法。对于每一种填充方式而言，都有其适用的场景，没有绝对的好坏之分，因此在做数据预处理时，要多尝试几种填充方法，选择表现最佳的即可。

本文完整代码已上传至 git(https://github.com/AHNU/fill_missing_values)

参考文献

  1. 训练模型填充空值 (fill null) 的几种方法

  2. https://www.kaggle.com/pmarcelino/comprehensive-data-exploration-with-python