Как объяснялось ранее, мой код пытается передать модуль .lower() в функцию токенизатора, но вместо вывода я получаю ошибку отсутствия атрибута.
По сути, мой код собирает положительные или отрицательные комментарии, я использую токенизацию, чтобы составить список слов в предложении, а затем преобразовать
Код: Выделить всё
(ds_train, ds_test), ds_info= tfds.load(
"cifar10",
split=["train", "test"],
shuffle_files=True,
as_supervised=True,
with_info=True,
)
tokenizer = tfds.deprecated.text.Tokenizer()
def build_vocabulary():
vocabulary = set()
for text, _ in ds_train:
vocabulary.update(tokenizer.tokenize(text.numpy().lower()))
return vocabulary
vocabulary = build_vocabulary()
encoder = tfds.features.Text.TokenTextEncoder(
vocabulary, oov_token="", lowercase=True, tokenizer=tokenizer
)
def my_encoder(text_tensor, label):
return encoder.encode(text_tensor.numpy()), label
def encode_map(text, label):
encoded_text, label = tf.py_function(
my_encoding, inp=[text, label], Tout=(tf.int64, tf.int64)
)
encoded_text.set_shape([None])
label.set_shape([])
return encoded_text, label
AUTOTUNE = tf.data.experimental.AUTOTUNE
ds_train = ds_train.map(encode_map, num_parallel_calls=AUTOTUNE).cache()
ds_train = ds_train.shuffle(10000)
ds_train = ds_train.padded_batch(32, pedded_shapes=([None], ()))
ds_train = ds_train.prefetch(AUTOTUNE)
ds_test = ds_test.map(encode_map)
ds_test = ds_test.padded_batch(32, pedded_shapes=([None], ()))
model = keras.Sequential([
layers.Masking(mask_value=0),
layers.Embedding(input_dim=len(vocabulary)+2, output_dim=32),
#batch_size * 10000 gives * 10000 * 32
layers.GlobalAveragePoolingID(),
# gives batcb size * 32
layes.Dense(64, activaition='relu'),
layers.Dense(1), #less than 0 _ve or > or = 0 positive
])
model.compile(
optimizer=keras.optimizers.Adam(3e-4, clipnorm=1),
loss = keras.losses.BinaryCrossentropy(from_logits=True),
metrics=["accuracy"],
)
model.fit(ds_train, epochs=10, verbose=2)
model.evaluate(ds_test)
Подробнее здесь: https://stackoverflow.com/questions/787 ... kenizer-fu
