Как использовать скрипт run_translation.py от HuggingFace для обучения перевода с нуля? ⇐ Python

[Гость]

Я пробовал различные скрипты HuggingFace для построения языковых моделей, такие как run_mlm.py (ссылка), run_clm.py (ссылка) и run_translation.py (ссылка). Для первых двух скриптов он может обучить языковую модель с нуля (т. е. без базовой модели).
Однако я не могу построить модель с нуля, используя run_translation.py , так как в командной строке требуется имя модели или путь. Учитывая, что у меня достаточно большой набор данных параллельного перевода, как мне построить модель перевода с нуля?

ОБНОВЛЕНИЕ: команда:

Код: Выделить всё

NCCL_P2P_DISABLE="1" NCCL_IB_DISABLE="1" python run_translation.py \
--output_dir models/TestTranslation-v1 \
--model_name_or_path fnlp/bart-base-chinese \
--tokenizer_name path/to/custom-tokenizer \
--train_file data/bart_parallel/train.json \
--validation_file data/bart_parallel/validation.json
--do_train \
--do_eval \
--source_lang yue \
--target_lang zh

p.s. Флаги NCCL_* необходимы для карт NVIDIA 4090.

Подробнее здесь: https://stackoverflow.com/questions/787 ... ion-from-s