Команда PostgreSQL COPY локально работает намного медленнее по сравнению с удаленным сервером с идентичными характеристи ⇐ Python

[Anonymous]

Я столкнулся с проблемой производительности команды PostgreSQL COPY при ее локальном запуске. Мой удаленный внутренний сервер приложений и мой локальный компьютер имеют одинаковые характеристики (оба с твердотельными накопителями, одинаковой оперативной памятью и ядрами ЦП). Сама база данных PostgreSQL размещена на другом удаленном сервере, и доступ к базе данных возможен только через определенное интернет-соединение, включенное в белый список.
Проблема в том, что команда COPY выполняется слишком часто. на моей локальной машине медленнее, чем на удаленном сервере, хотя обе среды очень похожи. Мой локальный компьютер подключен к Интернету из белого списка, который также работает быстро.
Вот фрагмент моего кода:

Код: Выделить всё

import psycopg2

def get_connection(env):
conn = psycopg2.connect(f"""postgresql://{env["USER"]}:{env["PASSWORD"]}@{env["HOST"]}:{env["PORT"]}/{env["NAME"]}""")
try:
yield conn
finally:
conn.close()

def copy_from(file_path: str, table_name: str, env, column_string: str):
with get_connection(env) as connection:
with connection.cursor() as cursor:
with open(file_path, "r") as f:
query = f"COPY {table_name} ({column_string}) FROM STDIN WITH (FORMAT CSV, HEADER FALSE, DELIMITER ',', NULL '')"
cursor.copy_expert(query, f)
connection.commit()

for file_path in file_path_list:
copy_from(file_path, table_name, env, column_string)

Локальный компьютер
Linux Ubuntu 22.04 LTS с Seqrite EndPoint Security
Результат трассировки:

• Шлюз: ~3,5 мс
• Промежуточные переходы: 6,5 мс до 40,7 мс
• Конечные переходы: от 7,7 до 12,7 мс

Удаленный сервер< /h3>
ОС: Linux Ubuntu
Результат трассировки:

• Шлюз: от ~0,2 до 0,7 мс
• Промежуточные переходы: все ответы либо недоступны, либо < 1 мс

Вопросы:

• Почему команда COPY может работать медленнее локально, несмотря на схожие характеристики и быстрый Интернет соединение?
• Есть ли какие-либо конкретные оптимизации или конфигурации, которые мне следует проверить на моем локальном компьютере, чтобы повысить производительность?
• Могут ли влиять задержки в сети или другие факторы производительность на местном уровне, и если да, то как я могу решить эту проблему?

Будем очень признательны за любые идеи и предложения!

Подробнее здесь: https://stackoverflow.com/questions/789 ... er-with-id