Преобразование набора данных HuggingFace в Pandas DF, вызывающее удаление строковых столбцов. ⇐ Python

[Anonymous]

Я пытаюсь преобразовать набор данных, загруженный из HuggingFace, в DF pandas, чтобы иметь возможность обработать данные. Однако, несмотря на отсутствие нулевых значений (на что указывают многие предыдущие проблемы), все нечисловые столбцы удаляются из кадра данных. Я подтвердил это, используя df.describe() для своих данных после преобразования, и могу отметить, что объекты существуют в загруженном наборе данных с помощью ds.features. Это большие наборы данных, поэтому мне нужно их преобразовать, поскольку объект datasets не обеспечивает необходимую мне производительность.
Я следовал следующей схеме:
from datasets import load_dataset

pr_commits = load_dataset("hao-li/AIDev", "pr_commits")["train"]
print(pr_commits.features) # displays 5 different features (4 string values, 1 of int64

commits_df = pr_commits.to_pandas()
print(commits_df) # results in a single column (the int64 value)



Подробнее здесь: https://stackoverflow.com/questions/798 ... ing-column