Модель не может предшествовать обучению и выдавать эту ошибку. Ошибка выполнения графика: по неизвестной причине ⇐ Python

[Anonymous]

Я пытался создать LLM, и после всего, когда я начал обучение, я получил эту ошибку Ошибка выполнения графика: и он дал мне логиты, и метки должны иметь одинаковое первое измерение, получил форму логитов [32,55050] и форму меток [10528] хотя я убедился, что X и Y имеют одинаковую форму, вот код, и кто-нибудь может мне помочь

Код: Выделить всё

import tensorflow as tf
import keras
from tensorflow.keras.models import Sequential
from tensorflow.keras.layers import Dense, Dropout, Embedding, LSTM
from tensorflow.keras.preprocessing.text import Tokenizer
from tensorflow.keras.preprocessing.sequence import pad_sequences

import nltk
from nltk import word_tokenize
from nltk.stem import WordNetLemmatizer
import string

import numpy as np
import math
import random
import matplotlib.pyplot as plt

import os
import json

with open('Resources/movie_subtitles_en.txt', 'r') as f:
raw_data = f.read()

def process(data):
processed_data = word_tokenize(data)
processed_data = [lemmatizer.lemmatize(w)for w in processed_data if w not in string.punctuation]

return processed_data

processed_data = [process(qa) for qa in raw_data.split('\n')]
print(processed_data[0])
print(processed_data[1])

tokenizer = Tokenizer()
tokenizer.fit_on_texts(processed_data)
word_index = tokenizer.word_index

inp = []
out = []
i = 0

for line in processed_data:
if i%2 == 0:
inp.append(line)
else:
out.append(line)
i +=1

X = pad_sequences(inp, maxlen=max_length)
Y = pad_sequences(out, maxlen=max_length)

model = tf.keras.Sequential([
tf.keras.layers.Embedding(vocab_size, embedding_dim, input_length=max_length),
tf.keras.layers.Dropout(0.2),
tf.keras.layers.Conv1D(64, 5, activation='relu'),
tf.keras.layers.MaxPooling1D(pool_size=4),
tf.keras.layers.LSTM(64),
tf.keras.layers.Dense(64, activation='relu'),
tf.keras.layers.Dense(vocab_size, activation='softmax')
])

model.compile(loss='sparse_categorical_crossentropy', optimizer='adam', metrics=['accuracy'])

model.fit(X, Y, epochs=50)

Я пробовал использовать разные композиции моделей и пробовал использовать другие наборы данных с меньшими значениями X и Y. Я пытался изменить способ предварительной обработки, меняя оптимизатор все, что вы могли отобразить
мне нужно кто-нибудь, кто объяснит мне ошибку, потому что я даже не знаю, в чем причина ошибки и как мне ее исправить

Подробнее здесь: https://stackoverflow.com/questions/793 ... tion-error