Я хотел бы отслеживать это задание обучения с помощью AWS SageMaker Experiments вместе с некоторыми рассчитанными показателями в задании обучения. Когда я начинаю задание обучения, успешно создается новый эксперимент, который отслеживает все предоставленные гиперпараметры (например, нестиматоры).
Однако, как было сказано ранее, кроме того, я также хочу отслеживать другие метрики (например, точность) в пользовательском скрипте. Здесь я использую load_run(), прежде чем подогнать модель, а затем, например, регистрирую метрику с помощью run.log_metric(). Однако когда я это делаю, SageMaker создает новую отдельную запись эксперимента в пользовательском интерфейсе, что означает, что мои гиперпараметры и метрики хранятся отдельно в двух отдельных экспериментах:
Я бы хотел, чтобы метрики и гиперпараметры были объединены в одном эксперименте. Что я делаю не так?
Вот сокращенный код, который я использую для запуска процесса обучения:
exp_name = "sklearn-script-mode-experiment"
with Run(
experiment_name=exp_name,
sagemaker_session=sess,
) as run:
sklearn_estimator = SKLearn('train.py',
instance_type='ml.m5.large',
framework_version='1.0-1',
role="arn:aws:iam:::role/service-role/AmazonSageMaker-ExecutionRole-",
hyperparameters={'nestimators': 100},
environment={"REGION": REGION})
sklearn_estimator.fit({'train': f's3://{BUCKET}/{S3_INPUT_PATH}'})
Вот сокращенный train.py:
#parsing arguments here ... etc ...
model = RandomForestClassifier(n_estimators=args.nestimators,
max_depth=5,
random_state=1)
with load_run(sagemaker_session=sagemaker_session) as run:
model.fit(X, y)
run.log_metric(name = "Final Test Loss", value = 0.9)
Подробнее здесь: https://stackoverflow.com/questions/768 ... uplication
