У меня проблема с установкой инструментария cuda для nvidia rtx 5070 через torch ⇐ Python

[Anonymous]

Я использую Python 3.12.10. Я хочу, чтобы мои агенты ИИ работали на графическом процессоре, в то время как проблема в том, что он перезагружает процессор, хотя я использую возможность перезапустить процессор.
Я получаю это после запуска агентов n:

ИНФО:agent_service:Использование устройства: cuda

Служба агента инициализирована

Устройство: cuda

CUDA доступна: cuda




ИНФОРМАЦИЯ: будем следить за изменениями в этих каталогах: ['C:\Users\veeti\Desktop\EHK OY\realestate-pipeline\apps\api']
ИНФО: Uvicorn работает по адресу http://127.0.0.1:8000 (нажмите CTRL+C, чтобы выйти)
ИНФО: Запущен процесс перезагрузки [40832] с использованием StatReload
ИНФО:agent_service:Использование устройства: cuda
ПРЕДУПРЕЖДЕНИЕ:main:Самовосстановление схемы пропущено: (psycopg2.errors.QueryCanceled) оператор отмены из-за тайм-аута оператора
[SQL:
ALTER TABLE Agents
ADD COLUMN IF NOT EXISTS last_input TEXT,
ADD COLUMN IF NOT EXISTS late_error TEXT;
]
(История этой ошибки: https://sqlalche.me/e/20/e3q8)
ИНФО: Запущен серверный процесс [41428]
ИНФО: Ожидание запуска приложения.
ИНФО: Запуск приложения завершен.
ИНФО: 127.0.0.1:58319 - «GET / HTTP/1.1» 200 ОК
ИНФО: 127.0.0.1:58320 - "GET /favicon.ico HTTP/1.1" 404 Не найден
ИНФО: 127.0.0.1:58334 - "POST /token HTTP/1.1" 200 OK
ИНФО: 127.0.0.1:58334 - "GET /users/me HTTP/1.1" 200 OK
INFO: 127.0.0.1:58334 - "GET /agents HTTP/1.1" 200 OK
INFO: 127.0.0.1:58337 - "GET /projects HTTP/1.1" 200 OK
INFO: 127.0.0.1:58334 - "GET /agents HTTP/1.1" 200 ОК
ИНФО: 127.0.0.1:58334 - "GET /агенты HTTP/1.1" 200 ОК
ИНФО: 127.0.0.1:58334 - "GET /агенты HTTP/1.1" 200 ОК
ИНФО: 127.0.0.1:58334 - "GET /agents HTTP/1.1" 200 ОК
ИНФО: 127.0.0.1:58334 - "GET /agents HTTP/1.1" 200 ОК
ИНФО: 127.0.0.1:58345 - "GET /agents/65/runs HTTP/1.1" 200 ОК
ИНФО: 127.0.0.1:58334 - "GET /agents/65/runs HTTP/1.1" 200 ОК
ИНФО: 127.0.0.1:58334 - "GET /agents HTTP/1.1" 200 ОК
ИНФО: 127.0.0.1:58334 - "GET /agent-runs/1 HTTP/1.1" 200 ОК
ИНФО: 127.0.0.1:58334 - "GET /agent-runs/1 HTTP/1.1" 200 ОК
ИНФО: 127.0.0.1:58334 - "GET /agents HTTP/1.1" 200 ОК
ИНФО: 127.0.0.1:58334 - "GET /agent-runs/1 HTTP/1.1" 200 ОК
ИНФО: 127.0.0.1:58334 - "GET /agents HTTP/1.1" 200 ОК
ИНФО: 127.0.0.1:58334 - "GET /agent-runs/1 HTTP/1.1" 200 ОК
ИНФО: 127.0.0.1:58334 - "GET /agents HTTP/1.1" 200 ОК
ИНФО: 127.0.0.1:58349 - "GET /agent-runs/1 HTTP/1.1" 200 ОК
ИНФО: 127.0.0.1:58334 - "GET /agents HTTP/1.1" 200 OK

Хотя кажется, что CUDA работает правильно, загрузка занимает бесконечное время, ждали несколько часов. Я загрузил его один раз, но затем он снова завис из-за возврата к процессору, хотя использование процессора строго запрещено. База данных Backend и Supabase в порядке. Я не знаю, правильно ли отформатирован вопрос, но это то, что я могу сделать на данный момент. Я получаю ответы «200» от серверной части. Агенты правильно извлекаются из супабазы ​​и всегда загружаются снова и снова перед тестированием только в целях тестирования, чтобы я мог увидеть, не связана ли проблема с загрузкой моделей из Huggingface.
Похоже, проблема заключается в наборе инструментов cuda. Не совсем уверен.

Подробнее здесь: https://stackoverflow.com/questions/798 ... -via-torch