Превышение длины оператора Redshift при вставке данных из кадра данных pandas в таблицу Redshift ⇐ Python

[Anonymous]

Я получаю эту ошибку

Код: Выделить всё

SyntaxError: Statement is too large. Statement Size: 19780406 bytes. Maximum Allowed: 16777216 bytes

Я даже удалил несколько столбцов, чтобы сделать вставку возможной, но это не работает, невозможно удалить еще больше столбцов.
Я получаю эту ошибку для этого кода

Код: Выделить всё

red_conn = create_engine(
f"postgresql:)
from sqlalchemy import event
@event.listens_for(red_conn, "before_cursor_execute")
def receive_before_cursor_execute(
conn, cursor, statement, params, context, executemany
):
if executemany:
cursor.fast_executemany = True
df.to_sql('table1',red_conn,index=False,schema='schemaname',if_exists='append',\
method='multi',chunksize=5000)

Использование Массовое копирование или команды копирования путем сохранения этого кадра данных в CSV, а затем перемещения его в s3 и использования команды копирования для вставки приводит к ошибкам ANSI и множеству несоответствий типов и данных.
Я предпочитаю загружать фрейм данных непосредственно в красное смещение, будь то пакетно или что-то в этом роде.
Пожалуйста, помогите, как вставить данные в красное смещение из фрейма данных, не получая никакой длины оператора. ограничения.
Заранее спасибо!