Автоматизируйте массовый импорт сотен CSV-файлов разных форматов/столбцов в таблицу PostgreSQL, написав скрипт на Python ⇐ Python

[Anonymous]

Я хочу написать скрипт для массового импорта csv-файлов в PostgreSQL. Я хочу импортировать два разных набора данных. Одна из них — это папка, содержащая финансовые показатели сотен компаний, помещенная в разные файлы CSV, разделенные тикером. Все эти файлы отформатированы одинаково (отформатированы одинаково — имеют одинаковые столбцы). Второй набор данных представляет собой папку с данными финансового фондового рынка. Эти файлы также разделены тикером, но некоторые столбцы у них общие, а другие — разные. У меня есть файл csv, в котором собраны все различные столбцы данных фондового рынка.
Набор данных 1: как мне использовать его для массового импорта данных финансовых показателей в postgresql и сделать первый (данные финансовых показателей, имеющие одинаковый формат)?
Набор данных 2: После того, как вы мне это показали, как вы массово импортируете данные финансового фондового рынка, которые имеют разные столбцы/форматы, в еще один стол на postgresql использует CSV-файл со списком всех имен столбцов?
например. список имен столбцов выглядит так, и типы данных не назначены
| Столбец А |
| -------- |
| идентификатор |
| дата_начала |
| конечная_дата |
| название_компании |
|финансовый_доход_отчет_доход_убыток_от_продолжающихся_операций_до_налогового_значения| |financials_income_statement_operating_expenses_order|
...еще 300 аналогичных описанным выше
Я только начинаю изучать, как автоматизировать массовую загрузку данных, поэтому, пожалуйста, объясните каждый шаг и цель!
Спасибо
Я создал пустую таблицу Financial_metrics.
Но я изо всех сил пытаюсь создать таблицу stock_market_data, так как в ней очень много разные столбцы и неизвестные типы данных, чтобы мне вручную создать таблицу в PostGreSQL.

Подробнее здесь: https://stackoverflow.com/questions/792 ... olumns-int