Я работаю над чат-ботом, используя библиотеку Трансформеров Hugging Face. Раньше я использовал диалоговый конвейер, но, похоже, он устарел. Вот код, который я использовал:
# Initialize the conversational pipeline
conversation = pipeline("conversational", model=model, tokenizer=tokenizer)
# Define the chat history
chat_history = [
{"role": "system", "content": "You are a smart chatbot"},
{"role": "user", "content": "What is the capital of France?"},
]
# Generate a response
response = conversation(chat_history)
print(response)
Теперь, когда диалоговый конвейер устарел, я не знаю, как добиться той же функциональности. Я читал, что мне может потребоваться напрямую использовать конвейер генерации текста или метод генерации модели, но я не уверен, как реализовать это с моей существующей структурой истории чата.
Итак, каков рекомендуемый способ создания диалогового чат-бота с использованием последней версии Transformers?
Будем очень признательны за любые рекомендации или примеры кода!
Я работаю над чат-ботом, используя библиотеку Трансформеров Hugging Face. Раньше я использовал диалоговый конвейер, но, похоже, он устарел. Вот код, который я использовал: [code]# Initialize the conversational pipeline conversation = pipeline("conversational", model=model, tokenizer=tokenizer)
# Define the chat history chat_history = [ {"role": "system", "content": "You are a smart chatbot"}, {"role": "user", "content": "What is the capital of France?"}, ]
# Generate a response response = conversation(chat_history) print(response) [/code] вызовите эту ошибку: [code]KeyError: "Unknown task conversational, available tasks are ['audio-classification', 'automatic-speech-recognition', 'depth-estimation', 'document-question-answering', 'feature-extraction', 'fill-mask', 'image-classification', 'image-feature-extraction', 'image-segmentation', 'image-to-image', 'image-to-text', 'mask-generation', 'ner', 'object-detection', 'question-answering', 'sentiment-analysis', 'summarization', 'table-question-answering', 'text-classification', 'text-generation', 'text-to-audio', 'text-to-speech', 'text2text-generation', 'token-classification', 'translation', 'video-classification', 'visual-question-answering', 'vqa', 'zero-shot-audio-classification', 'zero-shot-classification', 'zero-shot-image-classification', 'zero-shot-object-detection', 'translation_XX_to_YY']" [/code] Теперь, когда диалоговый конвейер устарел, я не знаю, как добиться той же функциональности. Я читал, что мне может потребоваться напрямую использовать конвейер генерации текста или метод генерации модели, но я не уверен, как реализовать это с моей существующей структурой истории чата. Итак, каков рекомендуемый способ создания диалогового чат-бота с использованием последней версии Transformers? Будем очень признательны за любые рекомендации или примеры кода!
Я работаю над чат-ботом, используя библиотеку Трансформеров Hugging Face. Раньше я использовал диалоговый конвейер, но, похоже, он устарел. Вот код, который я использовал:
# Initialize the conversational pipeline
conversation = pipeline(...
Я относительно новичок в Python и столкнулся с некоторыми проблемами с производительностью при использовании Hugging Face Transformers для анализа настроений в относительно большом наборе данных. Я создал DataFrame с 6000 строками текстовых данных...
Я загружаю модель float32huggingface-transformers, привожу ее к float16 и сохраняю. Как загрузить его как float16?
Пример:
# pip install transformers
from transformers import AutoModelForTokenClassification, AutoTokenizer
Я пытаюсь использовать функцию data_collator для объятия лица, используя этот код:
datasets = dataset.train_test_split(test_size=0.1)
train_dataset = datasets
val_dataset = datasets