При обновлении CSV-файла новыми данными имеет ли смысл загружать весь файл в панды? ⇐ Python

[Гость]

У меня есть данные, хранящиеся в файле CSV. Каждый день запускается программа для обновления данных в CSV. Как правило, помимо появления совершенно новых данных, существуют обновления существующих полей. Таким образом, я полностью загружал базу данных CSV в Python, добавлял обновления и удалял дубликаты. Все используют панд.

Это логичный и эффективный способ сделать это? Или я неправильно подхожу к этому?