Как проверить, существует ли указанный путь к файлу с помощью pyspark ⇐ Python

[Anonymous]

У меня есть 2 словаря, как показано ниже

Код: Выделить всё

data_path = {
"person": "/data/raw/person/*",
"location": "/data/raw/location/*",
"person_int": "/data/test/person_int/",
"location_int": "/data/test/location_int/*"
}

interim_tables = {
"person_int": ['ID', 'NAME', 'DATE'],
"location_int": ['ID', 'LOCATION', 'DATE'],
"person": ['ID', 'NAME', 'DATE']
}

Мне нужно проверить, существует ли промежуточная таблица в пути.
Если она существует, мне нужно загрузить инкрементальные (дельта) данные.
Если да, то не существует, мне нужно загрузить исторические данные из таблиц «человек» и «местоположение».
Это мой код ниже:

Код: Выделить всё

check_results={}
for table, cols in interim_tables.items():
if table in data_path:
path=data_path[table]

if os.path.exists(path):
check_results[table] = "path exists"
# >
else:
check_results[table] = "path not exists"
# >

for table, status in check_results.items():
print(f"{table}---{status})

В настоящее время мне доступен только путь к человеку и местоположению. person_int и location_int не существует.
Но я получаю результат как:

Код: Выделить всё

person_int---path not exists
location_int---path not exists
person---path not exists

Каков правильный подход?


Подробнее здесь: https://stackoverflow.com/questions/792 ... ng-pyspark