Код: Выделить всё
dfs = [spark.read.parquet(f'{l}') for l in partition_paths]
Код: Выделить всё
df = reduce(DataFrame.unionAll, dfs)
Подробнее здесь: https://stackoverflow.com/questions/783 ... n-for-list
Pyspark – как обработать ошибку в списке ⇐ Python
-
Anonymous
Pyspark – как обработать ошибку в списке
Я написал что-то для чтения местоположения некоторых файлов озера, динамически предоставляемых списком с именем «partition_paths»:
Затем я объединим все эти dfs в один в следующей строке:
Но возможно, что path_paths либо построены неправильно, либо местоположение в озере просто не существует, поэтому мне нужно обработать ошибку в первой строке код. Как мне это сделать, чтобы он не остановился и продолжал получать все dfs?
Подробнее здесь: https://stackoverflow.com/questions/783 ... n-for-list
Подробнее здесь: https://stackoverflow.com/questions/783 ... n-for-list
