Некоторые проблемы, с которыми мы сталкиваемся в LLM ⇐ Python

[Anonymous]

Когда мы пытаемся запустить python src/train_web.py inllama3, в первую очередь возникает проблема

Код: Выделить всё

ImportError: This modeling file requires the following packages that were not found in your environment: flash_attn. Run pip install flash_attn

Затем мы выполнили pip install flash_attn и повторили попытку
на этот раз проблема заключалась в следующем:

Код: Выделить всё

ImportError: /home/mobinets/anaconda3/envs/llama3/lib/python3.12/site-packages/flash_attn_2_cuda.cpython-312-x86_64-linux-gnu.so: undefined symbol: _ZN3c104cuda14ExchangeDeviceEa

Мы надеемся узнать, как справиться с этой проблемой и ее причину.

Подробнее здесь: https://stackoverflow.com/questions/785 ... et-in-llms