Узкое место при использовании np.where (с точки зрения вычислительных ресурсов, т.е. памяти и скорости) ⇐ Python

[Anonymous]

В текущем примере я потратил (много) часов, чтобы найти способ отсортировать матрицу M так, чтобы она точно соответствовала целевой.

[*]Два первых столбца используются для реорганизации M.
[*]matrixOrder указывает, как «действовать» (пары значений важно)
[*]обратите внимание на 2 пары [5, 15] и [5, 11], которые необходимо решать по-разному
[*]на завершающем этапе извлекается третий столбец

Для больших массивов (сотни тысяч строк, даже миллионы) объем памяти огромен, и этот шаг занимает много времени (узкое место); приветствуются любые предложения по улучшению такого кода.
Спасибо
Полу
# -*- coding: utf-8 -*-
"""
import numpy as np

M = np.array([ [ 5 , 15 , 6 ],
[ 14 , 15 , 14 ],
[ 5 , 11 , 350 ],
[ 5 , 11, 352 ],
[ 5 , 11 , 351 ],
[ 5 , 11 , 350 ],
[ 9 , 11 , 351 ],
[ 9 , 11 , 95 ],
[ 9 , 11 , 353 ],
[ 9 , 11 , 354 ],
[ 28 , 15 , 28 ],
[ 2 , 8 , 46 ],
[ 2 , 8 , 353 ],
[ 2 , 8 , 45 ],
[ 21 , 15 , 21 ],
[ 31 , 20 , 355 ],
[ 31 , 20 , 358 ]])

matrixOrder = np.array([ [14, 15],
[2 , 8],
[31, 20],
[5 , 11],
[21, 15],
[9, 11],
[5, 15],
[28, 15] ])

Target = np.array([ [ 14 , 15 , 14 ],
[ 2 , 8 , 46 ],
[ 2 , 8 , 353 ],
[ 2 , 8 , 45 ],
[ 31 , 20 , 355 ],
[ 31 , 20 , 358 ],
[ 5 , 11 , 350 ],
[ 5 , 11 , 352 ],
[ 5 , 11 , 351 ],
[ 5 , 11 , 350 ],
[ 21 , 15 , 21 ],
[ 9 , 11 , 351 ],
[ 9 , 11 , 95 ],
[ 9 , 11 , 353 ],
[ 9 , 11 , 354 ],
[ 5 , 15 , 6 ],
[ 28 , 15 , 28 ] ])

index = np.where( (matrixOrder[:, 0].reshape(-1, 1) == M[:, 0].tolist()) &
(matrixOrder[:, 1].reshape(-1, 1) == M[:, 1].tolist()) )

T = M[index[1], :]
check = np.array_equal(Target, T)



Подробнее здесь: https://stackoverflow.com/questions/792 ... -and-speed