Как эффективно добавить несколько столбцов LOOKUPVALUE в таблицу с фильтром в другой таблице (в Python)? ⇐ Python

[Anonymous]

Мне нужен совет, поскольку у меня мало опыта работы с Python.
Я думаю, как лучше (для производительности, если он существует) добавить несколько Столбцы LOOKUPVALUE в одной таблице в Python. Итак, у меня есть следующая функция, которую можно использовать несколько раз (8 раз), чтобы добавить ПРОСМОТРЗНАЧ в таблицу с фильтрацией.
def get_column_value_in_question_by_pk(df, df1, filter, result_column_name, alt_value):

"""Filter column Question by parameter "filter" and rename the lookupvalue column to result_column"""
df1 = df1.filter(F.col("column_filter") == filter).withColumnRenamed(
"lookupvalue_column", result_column_name
)

df = df.join(df1, df1["pk"] == df["pk"], "left").select(df["*"], df1[result_column_name])

df = df.withColumn(
result_column_name,
F.when(F.col(result_column_name).isNull(), alt_value).otherwise(F.col(result_column_name)),
)
return df

Сейчас его можно использовать, но когда я повторно использую его 8 раз для создания 1 таблицы (потому что мне нужны эти дополнительные столбцы), я не думаю, что это эффективно.
Есть ли лучший способ сделать это?
**Input data:**

| pk | column_filter | lookupvalue_column |
| -------- | -------------- | -------------- |
| 123acb | Location | City1 |
| 456bca | Location | City2 |
| 123acb | Question1 | Unhappy |
| 456bca | Question1 | Disappointed |
| 123acb | Question2 | Happy |
| 456bca | Question2 | Very happy |

**Expected output:**

| pk | Name | result_column1(filter on Question1) | result_column2(filter on Question2) | result_column_name3(on Location)|
| -------- | ------------- | --------------------------- | ----------------------- | --------------------------|
| 123acb | Name1 | Unhappy | Happy | City1 |
| 456bca | Name2 | Disappointed | Very happy | City2 |



Подробнее здесь: https://stackoverflow.com/questions/789 ... he-another