Pandas DataFrame – найти, соответствует ли строка всем значениям в словаре ⇐ Python

[Anonymous]

Я провожу анализ конвейера, моделирую точки по сегментам с некоторыми физическими параметрами. Мне нужно отслеживать прогресс, чтобы, когда модель зависает из-за проблем с подключением и т. д., я мог восстановить ее, не начиная с нуля.
Я сохраняю завершенные параметры в словаре, встраивая в список и сохраняя в CSV. В начале сценария я извлекаю все завершенные прогоны на данный момент.
Моя текущая реализация не будет хорошо масштабироваться, так как я конвертирую значения кадра данных завершенных прогонов в список прогонов, а затем сравнить его со списком значений заголовка, чтобы увидеть, совпадают ли какие-либо строки. Я ищу решение, которое будет лучше масштабироваться.

Код: Выделить всё

# at the top of the script, pull in the runs completed to date
completed_runs_df = pd.read_csv('completed_runs.csv')
completed_runs_list_of_values = completed_runs.values
completed_runs_list_of_dicts = completed_runs.to_dict(orient='records')

for model in models:
header = {
'lat': lat,
'long': long,
'press_psig': press_psig,
'diam_in': diam_in,
}

# need a better way to check this
header_vals = list(header.values())
if header_vals in completed_runs_list_of_values:
continue

# modeling goes here

completed_runs_list_of_dicts.append(header)

completed_runs_df = pd.DataFrame(completed_runs_list_of_dicts)
completed_runs_df.to_csv('completed_runs.csv', index=False)

Я ищу прямой метод, чтобы взять словарь заголовков и немедленно проверить, есть ли совпадающая строка значений в Complete_runs_df.

Подробнее здесь: https://stackoverflow.com/questions/787 ... dictionary