Трансформаторы Python не могут загрузиться ⇐ Python

[Anonymous]

У меня есть этот код:

Код: Выделить всё

from flask import Flask, request, jsonify
from flask_cors import CORS
from transformers import pipeline

app = Flask(__name__)
CORS(app)
model = pipeline("text-generation", model="MBZUAI-Paris/Atlas-Chat-9B")

@app.route('/generate', methods=['POST'])
def generate():
data = request.json
user_input = data.get("input", "")
response = model(user_input, max_length=1000)
return jsonify({"output": response[0]['generated_text']})

if __name__ == '__main__':
app.run(port=5000)

Но программа останавливается без вывода.
У меня есть последние версии Transformers, Accelerate, SafeTensors и PyTorch. И у меня Python 3.10.0.
Мой компьютер — Lenovo Yoga C-930 13IKB.
Я пробовал это вместе со многими другими моделями, но только меньшие, кажется, работают, например, модели Instruct. Всякий раз, когда я пробую модель немного большего размера, она останавливается, не производя никакого результата.

Подробнее здесь: https://stackoverflow.com/questions/791 ... -cant-load