У меня есть приложение Python, которому необходимо записывать около 1000 строк данных, хранящихся в pandas df, в базу данных Postgres каждые 5 минут.
В базе данных есть набор из 20 или около того. таблицы, разделенные для нормализации этих 1000 строк.
Как правило, лучше нормализовать данные в Python (поэтому я пишу 20 раз в каждую таблицу) или записать все 1000 строк в промежуточную таблицу, а затем выполнить всю нормализацию и управление fk в хранимой процедуре?
Большое спасибо за любые мнения!
Обычно я склонен думаю, что хранимая процедура — это то, что вам нужно; Мне все равно придется это сделать, даже если я нормализую в Python, чтобы обновить fks, но с другой стороны, общий объем записи будет больше, поскольку данные не нормализуются при вставке.
Подробнее здесь: https://stackoverflow.com/questions/790 ... thon-or-db
