N_jobs> = 2 разведки воспроизводимости ⇐ Python

[Anonymous]

Я сталкиваюсь с проблемой в поддержании воспроизводимости в проекте ML. Я считаю, что основной фрагмент моей проблемы-< /p>

Код: Выделить всё

clf = Clf(random_state=cfg.seed)
# instantiate the K-fold cross-validation object
cv = StratifiedKFold(
n_splits=cfg.train.n_folds,
shuffle=False,#cfg.train.is_shuffle,
random_state=cfg.seed
)
# instantiate the grid search object
grid_search = TSCGridSearchCV(
estimator=clf,
param_grid=dict(cfg.train.grid_params),
cv=cv,
n_jobs=cfg.train.n_jobs,
scoring=cfg.train.scoring,
verbose=4-(logger.level(cfg.log.cli.level).no//10),
)
< /code>
где Clf является cnnclassifier. Хотя это смехотворно трудоемкое, мне удается воспроизводить те же результаты в ранах, когда cfg.train.n_jobs = 1 

. Чтобы установить семена, я использую следующую функцию: < /p>

Код: Выделить всё

def _set_seed(seed: int):
"""Sets all random seeds for reproducibility."""
# Set seed
random.seed(seed)
# Deterministic TF ops
tf.config.experimental.enable_op_determinism()

Например, кривая обучения наиболее подходящей модели для трех независимых прогонов, когда n_jobs = 1 IS:
n_jobs> = 2 , фаза обучения работает по -разному в рамках прогонов, хотя набор параметров сохраняется одинаковым (предыдущий график с двумя прогонами, где n_jobos = 4 ):


Подробнее здесь: https://stackoverflow.com/questions/797 ... ducibility