Я столкнулся с проблемой при попытке установить пакет токенизаторов версии 0.12.1 с помощью команды pip install tokenizers==0.12.1. Моя версия Python — 3.6.15, а версия компилятора Rust — 1.72.0.
Я пытался решить проблему, экспериментируя с разными версиями Python и Rust, но, к сожалению, Я не добился успеха. Я получаю сообщение об ошибке: [вставьте сообщение об ошибке здесь].
Я был бы признателен за любую информацию или рекомендации о том, как решить эту проблему совместимости и успешно установить необходимую версию пакета токенизаторов. .
Заранее благодарим за помощь!
Я столкнулся с проблемами при попытке установить версию 0.12.1 пакета токенизаторов с помощью команды pip install tokenizers == 0.12.1. Моя версия Python — 3.6.15, и я использую компилятор Rust версии 1.72.0.
Обнаруженные ошибки включают изменяемые предупреждения и проблемы с приведением типов. В частности:
Код: Выделить всё
warning: variable does not need to be mutable
--> tokenizers-lib\src\models\unigram\model.rs:265:21
|
265 | let mut target_node = &mut best_path_ends_at[key_pos];
| ----^^^^^^^^^^^
| |
| help: remove this `mut`
...
error: casting `&T` to `&mut T` is undefined behavior, even if the reference is unused, consider instead using an `UnsafeCell`
--> tokenizers-lib\src\models\bpe\trainer.rs:526:47
|
522 | let w = &words[*i] as *const _ as *mut _;
| -------------------------------- casting happened here
...
526 | let word: &mut Word = &mut (*w);
| ^^^^^^^^^
|
= note: for more information, visit
= note: `#[deny(invalid_reference_casting)]` on by default
warning: `tokenizers` (lib) generated 3 warnings
error: could not compile `tokenizers` (lib) due to the previous error; 3 warnings emitted
Спасибо за любую помощь, которую вы можете оказать!
Подробнее здесь: https://stackoverflow.com/questions/775 ... -issue-wit