Как проверить, существует ли указанный путь к файлу с помощью pyspark ⇐ Python

[Anonymous]

У меня есть 2 словаря, как показано ниже

Код: Выделить всё

data_path = {
"person" : "/data/raw/person/*",
"location" : "/data/raw/location/*",
"person_int" : "/data/test/person_int/",
"location_int" : "/data/test/location_int/*"
}

interim_tables = {
"person_int" : ['ID','NAME', 'DATE'],
"location_int" : ['ID', 'LOCATION','DATE']
"person" : ['ID','NAME','DATE']
}

Мне нужно проверить, существует ли промежуточная таблица в пути.
Если она существует, мне нужно загрузить инкрементальные (дельта) данные.
Если да, то не существует, мне нужно загрузить исторические данные из таблиц «человек» и «местоположение».
Это мой код ниже:

Код: Выделить всё

check_results={}
for table, cols in interim_tables.items():
if table in data_path:
path=data_path[table]

if os.path.exists(path):
check_results[table] = "path exists"
>
else:
check_results[table] = "path not exists"


Подробнее здесь: [url]https://stackoverflow.com/questions/79221718/how-to-check-if-specified-file-path-exists-using-pyspark[/url]