Блокнот #jupyter
Я пытаюсь изучить классификатор BERT с помощью https://colab.research.google.com/drive ... db3pt8LuQВ этом коллабе, начиная с «Токенизировать все предложение..».
В этой части у меня возникла проблема: «TypeError: _tokenize() got» неожиданный аргумент ключевого слова 'pad_to_max_length'"
**
input_ids = []
attention_masks = []
for sent in sentences:
encoded_dict = tokenizer.encode_plus(
sent, # Sentence to encode.
add_special_tokens = True, # Add '[CLS]' and '[SEP]'
max_length = 64, # Pad & truncate all sentences.
pad_to_max_length = True,
return_attention_mask = True, # Construct attn. masks.
return_tensors = 'pt', # Return pytorch tensors.
)
Подробнее здесь: https://stackoverflow.com/questions/638 ... ncode-plus
