Torch не может найти cudnn_adv_train64_8.dll при сборке Tensor RT Engine для trt-llm-rag-windows ⇐ Python

[Гость]

Я пытаюсь установить trt-llm-rag-windows, следуя инструкциям в репозитории GitHub, и столкнулся с проблемой при попытке собрать движок trt с помощью следующей команды:

Код: Выделить всё

python build.py --model_dir 
 --quant_ckpt_path  --dtype float16 --use_gpt_attention_plugin float16 --use_gemm_plugin float16 --use_weight_only --weight_only_precision int4_awq --per_group --enable_context_fmha --max_batch_size 1 --max_input_len 3000 --max_output_len 1024 --output_dir 

Stacktrace:

Код: Выделить всё

Traceback (most recent call last):
File "C:\Users\user\inference\TensorRT-LLM\examples\llama\build.py", line 22, in 
import torch
File "C:\Users\user\AppData\Local\Programs\Python\Python310\lib\site-packages\torch\__init__.py", line 129, in 
raise err
OSError: [WinError 127] The specified procedure could not be found. Error loading "C:\Users\user\AppData\Local\Programs\Python\Python310\lib\site-packages\torch\lib\cudnn_adv_train64_8.dll" or one of its dependencies.

Боковая информация (окружение):

• графический процессор: NVIDIA GeForece RTX 4070 Ti
  python: 3,10
• 
  пип: 24,0
• 
  tensorrt: 9.2.0.post12.dev5
• 
  факел: 2.1.0+cu121

[*]

• fsspec: 2023.5.0

[*]TensorRT: TensorRT-9.1.0.4.Windows10.x86_64.cuda-12.2.llm.beta
[*]Cuda: cuda_12.2.2_537.13_windows< /li>
cuDNN: cudnn-windows-x86_64-8.9.7.29_cuda12-архив
[*]LLM: Llama-2-13b-chat-hf
[*]TensorRT-LLM: Release/0.5.0

Я проверил:

• папка пакета для отсутствующей dll -> она существует
• импортировать torch напрямую через консоль python3.10 -> работает (включая «отсутствующую " dll)
• import tensorrt_llm; print(tensorrt_llm._utils.trt_version()) -> работает и возвращает «[TensorRT-LLM] Версия TensorRT-LLM: 0.8.09.2.0.post12.dev5»
• принудительно переустановить факел через "python3.10 -m pip install --force-reinstall torch==2.1.0 torchvision==0.16.0 torchaudio==2.1.0 --index-url https://download.pytorch.org/whl/cu121 " --> работает, не имеет эффекта

Дополнительный контекст:
Я столкнулся с несколькими конфликтами версий, следуя инструкциям руководство, включая загрузку новой версии cudnn (cudnn64_9). Но можно исправить все из них.
Любопытно, что пакет Python не выглядит сломанным, поскольку он работает при прямом импорте.
Кто-нибудь сталкивался с подобной проблемой и может ли это исправить? пролить свет на это?
Большое спасибо
Изменить: исправлено форматирование

Подробнее здесь: https://stackoverflow.com/questions/781 ... ine-for-tr