Как мне успешно установить и получить информацию метаданных для HuggingfaceDataset в Huggingface Hub? ⇐ Python

[Anonymous]

У меня есть несколько наборов данных, которые я создаю из словаря следующим образом:

Код: Выделить всё

info = DatasetInfo(
description="my happy lil dataset",
version="0.0.1",
homepage="https://www.myhomepage.co.uk"
)
train_dataset = Dataset.from_dict(prepare_data(data["train"]), info=info)
test_dataset = Dataset.from_dict(prepare_data(data["test"]), info=info)
validation_dataset = Dataset.from_dict(prepare_data(data["validation"]),info=info)

Затем я объединяю их в DatasetDict.

Код: Выделить всё

# Create a DatasetDict
dataset = DatasetDict(
{"train": train_dataset, "test": test_dataset, "validation": validation_dataset}
)

Пока все хорошо. Если я получу доступ к набору данных['train'].info.description, я увижу ожидаемый результат «Мой счастливый набор данных».
Поэтому я отправляю запрос в хаб, вот так :

Код: Выделить всё

dataset.push_to_hub(f"{organization}/{repo_name}", commit_message="Some commit message")

И это тоже удается.
Однако, когда я извлекаю набор данных обратно из хаба и получаю доступ к связанной с ним информации, вместо того, чтобы получить описание моего набора данных, я просто получаю пустую строку; вот так:

Код: Выделить всё

pulled_data = full = load_dataset("f{organization}/{repo_name}", use_auth_token = True)

# I expect the following to print out "my happy lil dataset"
print(pulled_data["train"].info.description)
# However, instead it returns ''

Я неправильно загружаю данные из хаба? Я каким-то образом продвигаю только свой набор данных, а не информацию?
Мне кажется, что я упускаю что-то очевидное, но я действительно не уверен. Любая помощь будет оценена по достоинству.

Подробнее здесь: https://stackoverflow.com/questions/787 ... ingfacedat