Множественные группировки и агрегирование после получения значений последующих дат для проверки условия. ⇐ Python

[Anonymous]

У меня есть фрейм данных, в котором я хочу получить количество (долю) пациентов, которые прошли последующее наблюдение после диагностики заболевания в разных отделениях.
Пример; пациент может иметь Diag_yn в нескольких отделениях, но я хочу проверить, проходил ли пациент последующее наблюдение, как и раньше, но для каждого отделения.
Итак, Пациент 1 будет записан дважды в например, 1 для радиологии и еще раз для респираторного отделения, поскольку у него было последующее приложение для обоих отделений.
Исходный DF
dept | patient_id | app_date | diag_date | diag_yn |
|------------|------------|------------|------------|-----------|
Radiology | 1 | 2024-01-11 | NaT | NaN |
Radiology | 1 | 2024-03-14 | 2024-03-14 | 1 |
Radiology | 1 | 2024-04-09 | NaT | NaN |
Radiology | 1 | 2024-09-09 | NaT | NaN |
Respiratory | 1 | 2024-02-11 | NaT | NaN |
Respiratory | 1 | 2024-04-14 | 2024-04-14 | 1 |
Respiratory | 1 | 2024-06-09 | NaT | NaN |
Respiratory | 1 | 2024-09-09 | NaT | NaN |
Respiratory | 2 | 2024-01-11 | NaT | NaN |
Respiratory | 2 | 2024-03-14 | 2024-03-14 | 1 |
Respiratory | 2 | 2024-04-09 | NaT | NaN |
Respiratory | 2 | 2024-09-09 | NaT | NaN |

Желаемый результат
dept | patient_with_fup | count |
Radiology |------------------|-------|
| 1 | 1 |
| 0 | 0 |
Respiratory |------------------|-------|
| 1 | 2 |
| 0 | 0 |

Был предоставлен следующий код, но до того, как столбец dept был добавлен в DF.
(df.groupby('patient_id')
.apply(lambda g: g['app_date'].gt(next(iter(g['diag_date'].dropna()),
pd.NaT)).any(),
include_groups=False)
.astype(int).value_counts()
.reindex([0, 1], fill_value=0).rename_axis('fup_yn')
.reset_index()
)


Подробнее здесь: https://stackoverflow.com/questions/791 ... s-to-check