Я использую xarray.open_mfdataset(), чтобы открыть десятки тысяч (довольно небольших) файлов netCDF, и это занимает довольно много времени. Будучи нетерпеливым человеком, я хотел бы, по крайней мере, быть уверенным, что что-то происходит, поэтому индикатор выполнения был бы не лишним. Я нашел пример использования индикатора выполнения из dask здесь:
https://github.com/pydata/xarray/issues ... -619003228
Однако моя попытка адаптировать это решение не показывает индикатор выполнения. Есть еще варианты?
Вот код, который я пробовал:
Код: Выделить всё
import xarray as xr
from dask.diagnostics import ProgressBar
with ProgressBar():
d = xr.open_mfdataset('proc/*.nc')
Обновлено:
После обсуждения с коллегой мы пришли к следующему решению:
импортировать xarray как xr
из dask.diagnostics, импортировать ProgressBar
Код: Выделить всё
with xr.open_mfdataset('proc/*.nc', chunks=dict(index=1)) as d, ProgressBar():
d.load()
Это работает в том смысле, что отображает индикатор выполнения, но, к сожалению, ничего не делает (индикатор выполнения не виден) в течение нескольких минут (для набора файлов, которые я тестировал), а затем появляется индикатор выполнения, который проходит через несколько секунд. Другими словами, это не очень полезно для такой нетерпеливой души, как я.
Подробнее здесь:
https://stackoverflow.com/questions/790 ... -mfdataset