Polars перемешивает и разделяет фрейм данных с группировкойPython

Программы на Python
Ответить Пред. темаСлед. тема
Anonymous
 Polars перемешивает и разделяет фрейм данных с группировкой

Сообщение Anonymous »

Я использую поляры для всей предварительной обработки и проектирования функций. Я хочу перетасовать данные перед выполнением разделения на обучение/действительность/тест.
Обучающий «пример» состоит из нескольких строк. Количество строк в примере варьируется. Вот простой надуманный пример (обратите внимание, что на самом деле я использую LazyFrame в своем коде):

Код: Выделить всё

pl.DataFrame({
"example_id": [1, 1, 2, 2, 2, 3, 3, 3, 4, 4],
"other_col": [1, 2, 3, 4, 5, 6, 7, 8, 9, 10]
})

Код: Выделить всё

┌────────────┬───────────┐
│ example_id ┆ other_col │
│ ---        ┆ ---       │
│ i64        ┆ i64       │
╞════════════╪═══════════╡
│ 1          ┆ 1         │
│ 1          ┆ 2         │
│ 2          ┆ 3         │
│ 2          ┆ 4         │
│ 2          ┆ 5         │
│ 3          ┆ 6         │
│ 3          ┆ 7         │
│ 3          ┆ 8         │
│ 4          ┆ 9         │
│ 4          ┆ 10        │
└────────────┴───────────┘
Я хочу перетасовать столбец example_id, сохраняя при этом примеры сгруппированными. Получаем примерно такой результат:

Код: Выделить всё

┌────────────┬───────────┐
│ example_id ┆ other_col │
│ ---        ┆ ---       │
│ i64        ┆ i64       │
╞════════════╪═══════════╡
│ 2          ┆ 3         │
│ 2          ┆ 4         │
│ 2          ┆ 5         │
│ 1          ┆ 1         │
│ 1          ┆ 2         │
│ 4          ┆ 9         │
│ 4          ┆ 10        │
│ 3          ┆ 6         │
│ 3          ┆ 7         │
│ 3          ┆ 8         │
└────────────┴───────────┘
Затем я хочу разделить данные дробно, например 0,6, 0,2, 0,2 для обучения, проверки и тестирования соответственно, но делаю это на основе «целых примеров», а не только по строкам.
Есть ли простой способ сделать это в полярах без необходимости преобразовывать example_id в массив, перетасовывать его, разбивать на подсписки, а затем повторно выбирать из исходного фрейма данных?< /п>

Подробнее здесь: https://stackoverflow.com/questions/765 ... h-grouping
Реклама
Ответить Пред. темаСлед. тема

Быстрый ответ

Изменение регистра текста: 
Смайлики
:) :( :oops: :roll: :wink: :muza: :clever: :sorry: :angel: :read: *x)
Ещё смайлики…
   
К этому ответу прикреплено по крайней мере одно вложение.

Если вы не хотите добавлять вложения, оставьте поля пустыми.

Максимально разрешённый размер вложения: 15 МБ.

  • Похожие темы
    Ответы
    Просмотры
    Последнее сообщение

Вернуться в «Python»