Что означает output_dir в transformers.TrainingArguments?

В документации сайта huggingface написано: «Выходной каталог, в котором будут записаны прогнозы модели и контрольные точки». Я не совсем понимаю, что это значит. Нужно ли мне для этого создавать какой-нибудь файл?


python huggingface-transformers bert-language-model ray-tune
person abhishekkuber    schedule 19.04.2021    source источник

Ответы (1)


arrow_upward
0
arrow_downward

Тренер моделей Huggingface может многое спасти. Самое главное:

  • Словарь используемого токенизатора (в виде файла JSON)

  • Конфигурация модели: файл JSON, в котором рассказывается, как создать экземпляр объекта модели, т. Е. Архитектуру и гиперпараметры.

  • Контрольные точки модели: обучаемые параметры модели, сохраненные во время обучения.

  • Кроме того, он может сохранять значения метрик, используемых во время обучения, и состояние обучения (так что обучение может быть восстановлено из того же места).

Все это хранится в файлах в каталоге output_dir. Вам не нужно создавать каталог заранее, но путь к каталогу должен существовать как минимум.

person Jindřich    schedule 19.04.2021