Как вызовать данные партиями из оператора SELECT и добавить в DataFrame? ⇐ Python

[Anonymous]

У меня есть файл с оператором SQL, который я читаю в Python, используя pyodbc . Оператор SQL - это просто оператор SELECT, как SO: < /p>

select distinct (columns) from table1
< /code>

Однако данные, которые я звоню, составляет 30 миллионов строк. < /p>

Я могу сделать это для более мелких таблиц и поместить информацию в Dataframe. < /p>

Есть ли в любом случае, чтобы выровнять оператор SELECT, чтобы вытащить только x числа строк и добавить в DataFrame и продолжать делать это до конца 30 миллионов записей? < /p>

код до сих пор: < /p>

import os.path
import pandas as pd
import tinys3
import psycopg2
import pyodbc
from datetime import datetime
import uuid
import glob
from os import listdir
from os.path import isfile, join
import time

startTime = datetime.now()

#reading in data for db
server = 'xxxx'
database = 'xxx'
username = 'xxx'
password = 'xxxx'
driver= '{ODBC Driver 17 for SQL Server}'
cnxn = pyodbc.connect('DRIVER='+driver+';SERVER='+server+';PORT=xxx;DATABASE='+database+';UID='+username+';PWD='+ password)
cursor = cnxn.cursor()
path = "path/to/folder"

for infile in glob.glob( os.path.join(path, '*.sql') ):
with open(infile, 'r') as myfile:
sql = myfile.read()
print(sql)
myfile.close()
cursor.execute(sql)

row = cursor.fetchall()
columns = [column[0] for column in cursor.description]
columns = [element.lower() for element in columns]

df = pd.DataFrame([tuple(t) for t in row])
df.columns = columns


Подробнее здесь: https://stackoverflow.com/questions/516 ... -dataframe