Как загрузить набор данных от huggingface в Google colab? ⇐ Python

[Anonymous]

Я пытаюсь загрузить учебный набор данных в свою ноутбук Google Colab, но продолжаю получать ошибку. < /p>
Вот фрагмент кода, который возвращает ошибку: < /p>
from datasets import load_dataset

ds = load_dataset("valiantlynxz/godseye-violence-detection-dataset",download_mode="force_redownload")
< /code>
И, в Colab, это возвращает: < /p>
OSError Traceback (most recent call last)
/tmp/ipython-input-3556148243.py in ()
1 from datasets import load_dataset
2
----> 3 ds = load_dataset("valiantlynxz/godseye-violence-detection-dataset",download_mode="force_redownload")
4
5 print(ds["train"].column_names)

26 frames
/usr/local/lib/python3.12/dist-packages/huggingface_hub/file_download.py in http_get(url, temp_file, proxies, resume_size, headers, expected_size, displayed_filename, _nb_retries, _tqdm_bar)
523
524 if expected_size is not None and expected_size != temp_file.tell():
--> 525 raise EnvironmentError(
526 consistency_error_message.format(
527 actual_size=temp_file.tell(),

OSError: Consistency check failed: file should be of size 12021156 but has size 10804870 (1O4KGHbRt3M_0.avi).
This is usually due to network issues while downloading the file. Please retry with `force_download=True`.
< /code>
Я попробовал это: < /p>
from datasets import load_dataset
from huggingface_hub import snapshot_download
import shutil
import os

cache_dir = "/root/.cache/huggingface/datasets" # default location in Colab
shutil.rmtree(cache_dir, ignore_errors=True)

hub_cache = "/root/.cache/huggingface/hub"
shutil.rmtree(hub_cache, ignore_errors=True)

ds = load_dataset("valiantlynxz/godseye-violence-detection-dataset")
< /code>
Все еще получает эту ошибку: < /p>
---------------------------------------------------------------------------
OSError Traceback (most recent call last)
/tmp/ipython-input-3570728603.py in ()
13
14 # 3. Re-download the dataset fresh
---> 15 ds = load_dataset("valiantlynxz/godseye-violence-detection-dataset")
16
17 print(ds)

26 frames
/usr/local/lib/python3.12/dist-packages/huggingface_hub/file_download.py in http_get(url, temp_file, proxies, resume_size, headers, expected_size, displayed_filename, _nb_retries, _tqdm_bar)
523
524 if expected_size is not None and expected_size != temp_file.tell():
--> 525 raise EnvironmentError(
526 consistency_error_message.format(
527 actual_size=temp_file.tell(),

OSError: Consistency check failed: file should be of size 12021156 but has size 10804870 (1O4KGHbRt3M_0.avi).
This is usually due to network issues while downloading the file. Please retry with `force_download=True`.
< /code>
Я спросил GPT, но он ответил: < /p>

Эта ошибка не связана с нарушением набора данных - это просто проблема повреждения загрузки (файл не полностью загрузил, поэтому проверка контроля несоответствует). Наборы данных об объятиях лица иногда терпят неудачу, если Colab Times Out или Интернет медленный.

Как я могу решить эту проблему?>

Подробнее здесь: https://stackoverflow.com/questions/797 ... ogle-colab