Как ускорить запрос строк >600 млн? ⇐ Python

[Anonymous]

В моей базе данных около 600 миллионов записей, которые я хочу запросить (Pandas работает слишком медленно). Этот локальный dbSNP содержит только rsID и геномные позиции. Я использовал:

Код: Выделить всё

import sqlite3
import gzip
import csv

rsid_db = sqlite3.connect('rsid.db')

rsid_cursor = rsid_db.cursor()

rsid_cursor.execute(
"""
CREATE TABLE rsids (
rsid TEXT,
chrom TEXT,
pos INTEGER,
ref TEXT,
alt TEXT
)
"""
)

with gzip.open('00-All.vcf.gz', 'rt') as vcf: # from https://ftp.ncbi.nih.gov/snp/organisms/human_9606/VCF/00-All.vcf.gz
reader = csv.reader(vcf, delimiter="\t")
i = 0
for row in reader:
if not ''.join(row).startswith('#'):
rsid_cursor.execute(
f"""
INSERT INTO rsids (rsid, chrom, pos, ref, alt)
VALUES ('{row[2]}', '{row[0]}', '{row[1]}', '{row[3]}', '{row[4]}');
"""
)
i += 1
if i % 1000000 == 0:
print(f'{i} entries written')
rsid_db.commit()

rsid_db.commit()

rsid_db.close()

Я хочу запросить несколько rsID и получить их геномное положение и изменение (запросите rsid и получите chrom, pos, ref , alt и rsid). Одна запись выглядит так:


rsid
chrom
pos
ref
alt




rs537152180
1
4002401
G
A,C



Я запрашиваю, используя:

Код: Выделить всё

import sqlite3
import pandas as pd

def query_rsid(rsid_list,
rsid_db_path='rsid.db'):

with sqlite3.connect(rsid_db_path) as rsid_db:

rsid_cursor = rsid_db.cursor()
rsid_cursor.execute(
f"""
SELECT * FROM rsids
WHERE rsid IN ('{"', '".join(rsid_list)}');
"""
)

query = rsid_cursor.fetchall()

return query

Это займет около 1,5 минут независимо от количества записей. Есть ли способ ускорить это?

Подробнее здесь: https://stackoverflow.com/questions/790 ... 00mio-rows