Как применить множественную оценку к множеству объектов, чтобы выбрать комбинацию с наивысшим баллом f1? ⇐ Python

[Anonymous]

Я хотел бы запустить рекурсивное исключение признаков с помощью нескольких алгоритмов оценки для множества признаков и сохранить комбинацию наивысшего балла f1 в тестовых данных.
Вместо того, чтобы просматривать результат по одному во-первых, как создать код, который может генерировать и отображать наилучшее количество функций с лучшим алгоритмом на тестовых данных (наивысшее значение f1, за которым следует наивысшее значение ROC)? Мой набор данных несбалансирован.
Я попробовал приведенный ниже код, который может генерировать результат для разных оценщиков для разного количества объектов. Но мне все равно нужно просмотреть результат один за другим. Любые предложения приветствуются!
estimators = [('Logistic Regression', LogisticRegression()),
('Random Forest', RandomForestClassifier())]
num_features_to_select = [4,5,7,9,11,15]

for estimator_name, estimator in estimators:
for n_features in num_features_to_select:
# Create RFE object
rfe = RFE(estimator=estimator, n_features_to_select=n_features)
# Fit RFE to data
rfe.fit(X_resampled,Y_resampled)
# Get the selected features
selector = X_resampled.columns[rfe.support_]
X_train_selected = X_resampled[selector]
X_test_selected = X_test[selector]
log_reg_model = sm.Logit(Y_resampled, X_train_selected).fit()
pred_test = log_reg_model.predict(X_test_selected)
pred_test_1 = np.where(pred_test>0.5,1,0)
logit_roc_auc = roc_auc_score(Y_test, pred_test)
fpr, tpr, thresholds = roc_curve(Y_test, pred_test)
precision, recall, thresholds = precision_recall_curve(Y_test, pred_test)
# Evaluate model performance using cross-validation
scores = cross_val_score(estimator, X_resampled[selected_features], Y_resampled, cv=5)
# Print results
print(f'Estimator: {estimator_name}, Number of Features: {n_features}, Mean CV Score: {scores.mean()}')
print(f'Estimator: {estimator_name}, Number of Features: {n_features}, ROC: {logit_roc_auc}')
print(f'Estimator: {estimator_name}, Number of Features: {n_features}, f1 score: {f1_score(Y_test, pred_test_1)}')
print(f'Estimator: {estimator_name}, Number of Features: {n_features}, PRC AUC:{auc(recall,precision)}')


Подробнее здесь: https://stackoverflow.com/questions/791 ... ct-the-com