Я хотел бы заменить значения NaN, которые превышают 0,99 квантиля и меньше 0,01 квантиля во всем кадре данных.
На данный момент я нашел способ сделать это с помощью один столбец, так что я могу делать это по одному, но, может быть, есть возможность применить функцию ко всем столбцам без уродливых циклов for?
Я также пробовал numpy реализация с маскированием, но поскольку длина результата не является постоянной, мне это не кажется подходящим решением.
Квантильная замена для одного столбца, которая работает:< /p>
train_pl.select(
pl.when(pl.col('B_14') > pl.col('B_14').quantile(0.99))
.then(float("nan"))
.otherwise(pl.col('B_14'))
)
А вот мои числовые функции на случай, если они вам понадобятся:
def replace_high_quantile(arr, q = 0.99):
mask = arr = np.quantile(arr, q)
return ma.masked_array(arr, ~mask).filled(np.nan)
def replace_both_quantiles(arr, low = 0.01, high = 0.99):
mask = (arr >= np.quantile(arr, low)) & (arr
Подробнее здесь: https://stackoverflow.com/questions/732 ... le-columns
Как применить функцию к нескольким столбцам ⇐ Python
-
- Похожие темы
- Ответы
- Просмотры
- Последнее сообщение
-
-
Как применить функцию к нескольким столбцам в DataFrame Pandas за один раз
Anonymous » » в форуме Python - 0 Ответы
- 14 Просмотры
-
Последнее сообщение Anonymous
-
-
-
Как группировать по нескольким столбцам и применить пользовательскую функцию в пандах?
Anonymous » » в форуме Python - 0 Ответы
- 7 Просмотры
-
Последнее сообщение Anonymous
-
-
-
Как группировать по нескольким столбцам и применить пользовательскую функцию в пандах?
Anonymous » » в форуме Python - 0 Ответы
- 5 Просмотры
-
Последнее сообщение Anonymous
-
-
-
Polars применяет одну и ту же пользовательскую функцию к нескольким столбцам в группе по
Anonymous » » в форуме Python - 0 Ответы
- 13 Просмотры
-
Последнее сообщение Anonymous
-