Улучшить скорость корреляции SciPy Пирсона для многих парных вычислений? ⇐ Python

[Anonymous]

У меня есть фрейм данных с 1222 строками и 33 000 столбцов. Мне нужно вычислить коэффициенты парной корреляции (и связанные с ними значения p) между первыми 16 000 столбцами и остальными столбцами. В настоящее время я использую scipy.stats.pearsonr, например:

Код: Выделить всё

from scipy.stats import pearsonr

def correlation_analysis(lncRNA_PC_T):
"""Function for correlation analysis"""
correlations = pd.DataFrame()
for PC in [column for column in lncRNA_PC_T.columns if "_PC" in column]:
for lncRNA in [
column for column in lncRNA_PC_T.columns if "_lncRNAs" in column
]:
correlations = correlations.append(
pd.Series(
pearsonr(lncRNA_PC_T[PC], lncRNA_PC_T[lncRNA]),
index=["PCC", "p-value"],
name=PC + "_" + lncRNA,
)
)

return correlations

Приведенный выше код выполняет свою работу; однако для моего большого фрейма данных обработка занимает более 30 минут. Как я могу это ускорить?


Подробнее здесь: https://stackoverflow.com/questions/628 ... lculations