Я использую fasttext.load_fasttext_format () для загрузки официальной японской обученной модели (300 DIM) в Google Colab.
Вот мой код.
model_path = "/content/drive/MyDrive/IDR/rakuten/wikipedia_fastText/cc.ja.300.bin"
model = FastText.load_fasttext_format(model_path)
< /code>
И вот ошибка кодирования. < /p>
---------------------------------------------------------------------------
UnicodeDecodeError Traceback (most recent call last)
in ()
2
3 model_path = "/content/drive/MyDrive/IDR/rakuten/wikipedia_fastText/cc.ja.300.bin"
----> 4 model = FastText.load_fasttext_format(model_path)
2 frames
/usr/local/lib/python3.7/dist-packages/gensim/models/fasttext.py in _load_dict(self, file_handle, encoding)
818 word_bytes += char_byte
819 char_byte = file_handle.read(1)
--> 820 word = word_bytes.decode(encoding)
821 count, _ = self.struct_unpack(file_handle, '@qb')
822
UnicodeDecodeError: 'utf-8' codec can't decode byte 0xe3 in position 0: unexpected end of data
Подробнее здесь: https://stackoverflow.com/questions/693 ... 0-unexpect
UnicoDedeCodeError: 'UTF-8' Codec не может декодировать byte 0xe3 в позиции 0: неожиданный конец данных ⇐ Python
-
- Похожие темы
- Ответы
- Просмотры
- Последнее сообщение