Код: Выделить всё
def validateData(_ses, table_name,sel_col,join_col, data_state, validation_state):
sdf_t1 = _ses.table(table_name).select(sel_col).filter(col('state') == data_state)
sdf_t2 = _ses.table(table_name).select(sel_col).filter(col('state') == validation_state)
df_join = sdf_t1.join(sdf_t2, [sdf_t1[i] == sdf_t2[i] for i in join_col],'full')
return df_join.to_pandas()
< /code>
Это будет называется таким: < /p>
df = validateData(ses,'table_name',[col('c1'),col('c2')],[col('c2'),col('c3')],'AZ','TX')
df_join = sdf_t1.join(sdf_t2, [col(sdf_t1) == col(sdf_t2) for i in join_col],'full')
< /code>
Я знаю, что код неверен, но я надеюсь, что он объясняет, что я пытаюсь сделать. Если у кого -нибудь есть какие -либо советы, если это возможно или как, я очень ценю это.
Подробнее здесь: https://stackoverflow.com/questions/752 ... namic-join