при запуске программы тонкой настройки peft выполните следующий код:
model = get_peft_model(model, peft_config)
сообщите об ошибках:
Не удалось найти двоичный файл bitsandbytes CUDA в WindowsPath( 'D:/Users/1/anaconda3/Lib/site-packages/bitsandbytes/libbitsandbytes_cuda124.dll')
Установленная версия bitsandbytes была скомпилирована без поддержки графического процессора. 8-битные оптимизаторы, 8-битное умножение и квантование графического процессора недоступны.
Установлен последний пакет bitsandbytes, версия bitsandbytes-0.43.1
Я также проверил на GitHub, и последняя версия поддерживает CUDA 12.4, но
D:/Users/1/anaconda3/Lib/site-packages/bitsandbytes/
В каталоге по-прежнему нет libbitsandbytes_cuda124.dll, но есть от 117 до 123
Пожалуйста ответьте на мои вопросы, Боги и Мастера. Большое спасибо
Надеюсь, эту проблему можно решить, большое спасибо
Подробнее здесь: https://stackoverflow.com/questions/786 ... -4-version
