Как импутировать тестовые данные с вмененными значениями обучающих данных с помощью GridSearchCV и sklearn Pipeline ⇐ Python

[Anonymous]

Я пытаюсь улучшить свои заявки на участие в конкурсе цен на жилье Kaggle, который можно найти здесь. Я работаю с данными штата Айова, доступными здесь.
Я пытаюсь обучить и протестировать свою модель с помощью конвейера sklearn, перекрестной проверки с помощью GridSearchCV и использования XGBRegressor. Выбранные функции имели категориальные данные и значения NaN, которые нужно было вменить с помощью sklearn SimpleImputer.
Первоначальная настройка:

Код: Выделить всё

import pandas as pd
from xgboost import XGBRegressor
from sklearn.pipeline import Pipeline
from sklearn.model_selection import GridSearchCV, train_test_split
from sklearn.impute import SimpleImputer

# Path of the file to read.
iowa_file_path = '../input/train.csv'

original_home_data = pd.read_csv(iowa_file_path)

home_data = original_home_data.copy()

# delete rows where SalePrice is Nan
home_data.dropna(axis=0, subset=['SalePrice'], inplace=True)

# Create a target object and call it y
y = home_data.SalePrice

# Create X
features = ['LotArea', 'YearBuilt', '1stFlrSF', '2ndFlrSF', 'FullBath', 'BedroomAbvGr', 'TotRmsAbvGrd']
extra_features = ['OverallCond', 'GarageArea', 'LotFrontage', 'OverallQual', 'BsmtFinSF1', 'BsmtUnfSF', 'TotalBsmtSF', 'GrLivArea', 'MoSold']
categorical_data = ['LotShape', 'MSZoning', 'Neighborhood', 'BldgType', 'HouseStyle', 'Foundation', 'KitchenQual']

features.extend(extra_features)
features.extend(categorical_data)

X = home_data[features]

Категорийные данные были закодированы с помощью:

Код: Выделить всё

X = pd.get_dummies(X, prefix='OHE', columns=categorical_data)

Столбцы с отсутствующими значениями были собраны:

Код: Выделить всё

cols_with_missing = (col for col in X.columns if X[col].isnull().any())
for col in cols_with_missing:
X[col + '_was_missing'] = X[col].isnull()

Затем данные обучения и проверки были разделены:

Код: Выделить всё

train_X, val_X, train_y, val_y = train_test_split(X, y, random_state=1, test_size=0.25)
train_X, val_X = train_X.align(val_X, join='left', axis=1)

Затем был создан конвейер для вменения среднего значения NaN с помощью регрессора

Код: Выделить всё

    my_pipeline = Pipeline([('imputer', SimpleImputer()), ('xgbrg', XGBRegressor())])
param_grid = {
'xgbrg__n_estimators': [10, 50, 100, 500, 1000],
'xgbrg__learning_rate': [0.01, 0.04, 0.05, 0.1, 0.5, 1]
}
fit_params = {
'xgbrg__early_stopping_rounds': 10,
'xgbrg__verbose': False,
'xgbrg__eval_set': [(np.array(val_X), val_y)]
}

Затем я инициализировал перекрестный валидатор:

Код: Выделить всё

searchCV = GridSearchCV(my_pipeline, cv=5, param_grid=param_grid, return_train_score=True, scoring='neg_mean_absolute_error')

Затем я установил перекрестный валидатор:

Код: Выделить всё

searchCV = GridSearchCV(my_pipeline, cv=5, param_grid=param_grid, return_train_score=True, scoring='neg_mean_absolute_error')

и соответствовать модели (обратите внимание на следующую строку):

Код: Выделить всё

searchCV.fit(X=np.array(train_X), y=train_y, **fit_params)

Затем я сделал то же самое для тестовых данных (одно горячее кодирование, получение столбцов с NaN)

Код: Выделить всё

# path to file you will use for predictions
test_data_path = '../input/test.csv'

# read test data file using pandas
test_data = pd.read_csv(test_data_path)

# create test_X which comes from test_data but includes only the columns you used for prediction.
original_test_X = test_data[features]

test_X = original_test_X.copy()

# to one hot encode the data
test_X = pd.get_dummies(test_X, prefix='OHE', columns=categorical_data)

for col in cols_with_missing:
test_X[col + '_was_missing'] = test_X[col].isnull()

# to align the training and test data and discard columns not in the training data
X, test_X = X.align(test_X, join='inner', axis=1)

Затем я попытался преобразовать тестовые данные со средним значением обучающих данных, чтобы вменить значения NaN в тестовые данные:

Код: Выделить всё

test_X = my_pipeline.named_steps['imputer'].transform(test_X)

После этого я получаю следующую ошибку:

Код: Выделить всё

NotFittedError: This SimpleImputer instance is not fitted yet.  Call 'fit' with appropriate arguments before using this method.

Поэтому я даже не могу использовать эту строку для прогнозирования:

Код: Выделить всё

test_preds = searchCV.predict(test_X)

• Что здесь может быть не так?
• Как Могу ли я использовать свой конвейер для преобразования другого набора данных после подгонки?

Если я попытаюсь создать новый экземпляр SimpleImputer() для тестовые данные, вменение NaN и выполнение fit_transform:

Код: Выделить всё

test_pipeline = SimpleImputer()
test_X = test_pipeline.fit_transform(test_X)

и я добавляю и запускаю:

Код: Выделить всё

test_preds = searchCV.predict(test_X)

Я получаю следующую ошибку:

Код: Выделить всё

ValueError: X has 72 features per sample, expected 74

• Что здесь не так?

Подробнее здесь: https://stackoverflow.com/questions/539 ... searchcv-a