Автоматизируйте массовый импорт сотен файлов csv с разными форматами/столбцами в таблицу в PostgreSQL, написав скрипт на ⇐ Python

[Anonymous]

Я хочу написать скрипт для массового импорта csv-файлов в PostgreSQL. Я хочу импортировать два разных набора данных. Одна из них — это папка, содержащая финансовые показатели сотен компаний, помещенная в разные файлы CSV, разделенные тикером. Все эти файлы отформатированы одинаково (отформатированы одинаково — имеют одинаковые столбцы). Второй набор данных представляет собой папку с данными финансового фондового рынка. Эти файлы также разделены тикером, но некоторые столбцы у них общие, а другие — разные. У меня есть файл csv, в котором собраны все различные столбцы данных фондового рынка.
Набор данных 1: как мне использовать его для массового импорта данных финансовых показателей в postgresql и сделать первый (данные финансовых показателей, имеющие одинаковый формат)?
Набор данных 2: После того, как вы мне это показали, как вы массово импортируете данные финансового фондового рынка, которые имеют разные столбцы/форматы, в еще один стол на postgresql использует CSV-файл со списком всех имен столбцов?
например. список имен столбцов выглядит так, и типы данных не назначены

Код: Выделить всё

| Column A     |
| --------     |
| id           |
| start_date   |
| end_date     |
| company_name |
|financials_income_statement_income_loss_from_continuing_operations_before_tax_value|
|financials_income_statement_operating_expenses_order|
...300 more similar to above

Я создал пустую таблицу Financial_metrics.
Но я изо всех сил пытаюсь создать таблицу stock_market_data, поскольку в ней так много разных столбцов и неизвестных типов данных, что мне приходится вручную создавать таблицу в PostGreSQL.


Подробнее здесь: https://stackoverflow.com/questions/792 ... olumns-int