Узкое место при использовании np.where (с точки зрения вычислительных ресурсов, т.е. памяти и скорости) ⇐ Python

[Anonymous]

В текущем примере я потратил (много) часов, чтобы найти способ отсортировать матрицу M так, чтобы она точно соответствовала целевой.

• Два первых столбца используются для реорганизации M.
• MatrixOrder указывает, как «действовать» (важны несколько значений)< /li>
  обратите внимание на две пары [5, 15] и [5, 11], которые необходимо решать по-разному
• на заключительном этапе извлекается третий столбец

Для больших массивов (сотни тысяч строк, даже миллионы) объем памяти огромен, и этот шаг занимает много времени (узкое место).
# -*- coding: utf-8 -*-
import numpy as np

M = np.array([ [ 5 , 15 , 6 ],
[ 14 , 15 , 14 ],
[ 5 , 11 , 350 ],
[ 5 , 11, 352 ],
[ 5 , 11 , 351 ],
[ 5 , 11 , 350 ],
[ 9 , 11 , 351 ],
[ 9 , 11 , 95 ],
[ 9 , 11 , 353 ],
[ 9 , 11 , 354 ],
[ 28 , 15 , 28 ],
[ 2 , 8 , 46 ],
[ 2 , 8 , 353 ],
[ 2 , 8 , 45 ],
[ 21 , 15 , 21 ],
[ 31 , 20 , 355 ],
[ 31 , 20 , 358 ]])

matrixOrder = np.array([ [14, 15],
[2 , 8],
[31, 20],
[5 , 11],
[21, 15],
[9, 11],
[5, 15],
[28, 15] ])

Target = np.array([ [ 14 , 15 , 14 ],
[ 2 , 8 , 46 ],
[ 2 , 8 , 353 ],
[ 2 , 8 , 45 ],
[ 31 , 20 , 355 ],
[ 31 , 20 , 358 ],
[ 5 , 11 , 350 ],
[ 5 , 11 , 352 ],
[ 5 , 11 , 351 ],
[ 5 , 11 , 350 ],
[ 21 , 15 , 21 ],
[ 9 , 11 , 351 ],
[ 9 , 11 , 95 ],
[ 9 , 11 , 353 ],
[ 9 , 11 , 354 ],
[ 5 , 15 , 6 ],
[ 28 , 15 , 28 ] ])

index = np.where( (matrixOrder[:, 0].reshape(-1, 1) == M[:, 0].tolist()) &
(matrixOrder[:, 1].reshape(-1, 1) == M[:, 1].tolist()) )

T = M[index[1], :]
check = np.array_equal(Target, T)


Подробнее здесь: https://stackoverflow.com/questions/792 ... -and-speed