Можно ли использовать сложные картографические функции с Polars? ⇐ Python

[Anonymous]

Мне нужно применить эту функцию сопоставления к серии идентификаторов пользователей:

Код: Выделить всё

def generate_lightfm_recs_mapper(
model: object,
item_ids: list,
known_items: dict,
user_features: list,
item_features: list,
N: int,
user_mapping: dict,
item_inv_mapping: dict,
num_threads: int = 4
):
def _recs_mapper(user):
user_id = user_mapping[user]
recs = model.predict(
user_id,
item_ids,
user_features = user_features,
item_features = item_features,
num_threads = num_threads)

additional_N = len(known_items[user_id]) if user_id in known_items else 0
total_N = N + additional_N
top_cols = np.argpartition(recs, -np.arange(total_N))[-total_N:][::-1]

final_recs = [item_inv_mapping[item] for item in top_cols]
if additional_N > 0:
filter_items = known_items[user_id]
final_recs = [item for item in final_recs if item not in filter_items]
return final_recs[:N]
return _recs_mapper

Это объект:

Код: Выделить всё

# init mapper to get predictions
mapper = generate_lightfm_recs_mapper(
lfm_model,
item_ids = all_cols,
known_items = dict(),
N = top_N,
user_features = None,
item_features = None,
user_mapping = lightfm_mapping['users_mapping'],
item_inv_mapping = lightfm_mapping['items_inv_mapping'],
num_threads = 20
)

В Pandas я бы сделал это вот так:

Код: Выделить всё

local_test_preds['item_id'] = local_test_preds['user_id'].map(mapper)

Но данных так много, что, боюсь, их обработка займет очень много времени.
Можно ли переписать это в Polars? Я искал функции Map_elements и Map_batches, но во всех примерах входных аргументов не так много, и они инициализируются внутри метода .with_columns. Однако я выполняю инициализацию раньше.
Заранее спасибо.

Подробнее здесь: https://stackoverflow.com/questions/792 ... ith-polars