Массив Numpy преобразуется в усеченную строку при сохранении Pandas df в Dask ⇐ Python

[Anonymous]

У меня есть большой набор данных Pandas, каждая строка столбца «Образцы» представляет собой очень длинный массив целых чисел int16 (

Код: Выделить всё

[-14, -15, -16, -17, -18, -19, -20, -21, -22, ...). Из-за нехватки памяти на моем локальном компьютере я бы хотел использовать Dask, чтобы преобразовать этот pandas df и сохранить его.
для преобразования я использую только это:
ddf =  dd.from_pandas(df, npartitions=4)

После преобразования я пытаюсь вычислить() dask df обратно в pandas следующим образом:

Код: Выделить всё

df_pd = ddf.compute()

И столбец «Образцы» преобразуется в строку и усекается следующим образом [-14 -15 -16 ... -10 -11 -11], так что это буквально усеченная строка (проверенная с помощью .dtype()), а не объект массива numpy, как в оригинальном pandas df.
Я предполагаю, что это происходит где-то во время преобразования из pandas в dask, как я пытался подать заявку

Код: Выделить всё

ddf['Samples'] = ddf['Samples'].astype('object')

после преобразования и, очевидно, это не помогло. Я делаю что-то не так во время from_pandas()?
Спасибо!

Подробнее здесь: https://stackoverflow.com/questions/794 ... df-to-dask