Быстрая вставка DataFrame pandas в БД Postgres с помощью psycopg2 ⇐ Python

[Anonymous]

Я пытаюсь вставить DataFrame pandas в базу данных Postgresql (9.1) наиболее эффективным способом (используя Python 2.7).

Использование «cursor.execute_many» очень медленное, как и «DataFrame.to_csv(buffer,...)» вместе с «copy_from».

Я нашел уже много! более быстрое решение в Интернете (http://eatthedots.blogspot.de/2008/08/f ... copgs.html), которое я адаптировал для работы с пандами.

Мой код можно найти ниже.

Мой вопрос заключается в том, можно ли легко перенести метод этого связанного вопроса (с использованием «копирования из стандартного ввода с двоичным кодом») для работы с DataFrames и будет ли это намного быстрее.

Используйте двоичную таблицу COPY FROM с psycopg2

К сожалению, моих навыков Python недостаточно, чтобы понять реализацию этого подхода.

Это мой подход:


import psycopg2
import connectDB # this is simply a module that returns a connection to the db
from datetime import datetime

class ReadFaker:
"""
This could be extended to include the index column optionally. Right now the index
is not inserted
"""
def __init__(self, data):
self.iter = data.itertuples()

def readline(self, size=None):
try:
line = self.iter.next()[1:] # element 0 is the index
row = '\t'.join(x.encode('utf8') if isinstance(x, unicode) else str(x) for x in line) + '\n'
# in my case all strings in line are unicode objects.
except StopIteration:
return ''
else:
return row

read = readline

def insert(df, table, con=None, columns = None):

time1 = datetime.now()
close_con = False
if not con:
try:
con = connectDB.getCon() ###dbLoader returns a connection with my settings
close_con = True
except psycopg2.Error, e:
print e.pgerror
print e.pgcode
return "failed"
inserted_rows = df.shape[0]
data = ReadFaker(df)

try:
curs = con.cursor()
print 'inserting %s entries into %s ...' % (inserted_rows, table)
if columns is not None:
curs.copy_from(data, table, null='nan', columns=[col for col in columns])
else:
curs.copy_from(data, table, null='nan')
con.commit()
curs.close()
if close_con:
con.close()
except psycopg2.Error, e:
print e.pgerror
print e.pgcode
con.rollback()
if close_con:
con.close()
return "failed"

time2 = datetime.now()
print time2 - time1
return inserted_rows


Подробнее здесь: https://stackoverflow.com/questions/982 ... g-psycopg2