Как выполнять итерацию внутри tf.data.dataset для объединения функций ⇐ Python
Как выполнять итерацию внутри tf.data.dataset для объединения функций
начиная с этого кода, который работает правильно.
# загрузка CSV набор данных = tf.data.experimental.make_csv_dataset( file_pattern = имя файла, число_параллельных_чтений=2, размер_пакета = 128, число_эпох = 1, label_name = 'поток потока', select_columns=keep_columns, shuffle_buffer_size=10000, заголовок = Истина, field_delim=',' ) def preprocess_fn(функции, метка): # Нормализовать функции (пример: масштабирование до [0, 1]) функции['total_precipitation_sum'] /= 100,0 функции['temperature_2m_min'] /= 100,0 функции['temperature_2m_max'] /= 100,0 функции['snow_глубина_воды_эквивалент_макс'] /= 100,0 -----> # Создайте функцию main_inputs, соединив выбранные столбцы функции['main_inputs'] = tf.stack([ функции['total_precipitation_sum'], функции['temperature_2m_min'], функции['temperature_2m_max'], функции['snow_глубина_воды_эквивалент_макс'] ], ось=-1) вернуть {'main_inputs': функции['main_inputs']}, метку набор данных = dataset.map(preprocess_fn) В разделе «Создание функции main_inputs путем объединения выбранных столбцов»:
Имя «функций» жестко запрограммировано, но в некоторых случаях может меняться. Как я могу автоматизировать обнаружение всех функций и процесс объединения?
начиная с этого кода, который работает правильно.
# загрузка CSV набор данных = tf.data.experimental.make_csv_dataset( file_pattern = имя файла, число_параллельных_чтений=2, размер_пакета = 128, число_эпох = 1, label_name = 'поток потока', select_columns=keep_columns, shuffle_buffer_size=10000, заголовок = Истина, field_delim=',' ) def preprocess_fn(функции, метка): # Нормализовать функции (пример: масштабирование до [0, 1]) функции['total_precipitation_sum'] /= 100,0 функции['temperature_2m_min'] /= 100,0 функции['temperature_2m_max'] /= 100,0 функции['snow_глубина_воды_эквивалент_макс'] /= 100,0 -----> # Создайте функцию main_inputs, соединив выбранные столбцы функции['main_inputs'] = tf.stack([ функции['total_precipitation_sum'], функции['temperature_2m_min'], функции['temperature_2m_max'], функции['snow_глубина_воды_эквивалент_макс'] ], ось=-1) вернуть {'main_inputs': функции['main_inputs']}, метку набор данных = dataset.map(preprocess_fn) В разделе «Создание функции main_inputs путем объединения выбранных столбцов»:
Имя «функций» жестко запрограммировано, но в некоторых случаях может меняться. Как я могу автоматизировать обнаружение всех функций и процесс объединения?
-
- Похожие темы
- Ответы
- Просмотры
- Последнее сообщение