Предсказать следующее слово в Интернете или мобильном приложении? [закрыто] ⇐ Python

[Anonymous]

Я начинаю проект, связанный с прогнозированием текста, уделяя особое внимание созданию модели прогнозирования следующего слова. Моя цель — использовать прошлые текстовые входы, чтобы предсказать следующее слово, которое, скорее всего, напечатает пользователь.

• Выбор модели
  Какую модель следует использовать? Я использую? Стоит ли мне рассмотреть возможность использования архитектур LSTM, GRU или Transformer для этой задачи? Каковы преимущества и недостатки каждой модели в контексте предсказания следующего слова?
• Подготовка данных
  Данные как есть или Предварительная обработка?

Следует ли использовать необработанные текстовые данные как есть или следует предварительно обработать их (например, токенизацию, строчные буквы, удаление знаков препинания) перед подачей в модель?
Если я решу выполнить предварительную обработку, какие методы будут наиболее эффективными для повышения производительности модели?

• Представление входных данных
  Встраивание слов или кодирование One-Hot:

Следует ли использовать предварительно обученные внедрения слов (например, Word2Vec или GloVe) для представления входных данных или будет достаточно быстрого кодирования?
Если я использую внедрения, как я могу гарантировать, что они фиксируют семантические отношения между словами эффективно?

• Длина последовательности
  Как обрабатывать длину последовательности?

Какова должна быть оптимальная длина последовательности входного текста? Как я могу определить правильную длину, не теряя важный контекст?
Должен ли я дополнять последовательности до фиксированной длины, и если да, то какая стратегия заполнения будет лучшей (например, предварительное заполнение, после -padding)?

• Обучение модели
  Настройка гиперпараметров:

На каких гиперпараметрах мне следует сосредоточиться (например, скорость обучения, размер пакета, количество слоев) для достижения наилучшей производительности?
Как я могу эффективно использовать такие методы, как перекрестное -проверка для проверки эффективности модели во время обучения?

• Метрики оценки
  Какие метрики следует использовать для оценки модели?< /li>

Следует ли мне использовать точность, степень недоумения или показатель BLEU для измерения производительности модели прогнозирования следующего слова? Как эти метрики отражают прогнозные возможности модели?

• Развертывание
  Как я могу развернуть модель в мобильном приложении?< /li>

Каковы наилучшие методы оптимизации модели для вывода на мобильных устройствах? Следует ли мне рассмотреть возможность квантования или сокращения модели?

• Предсказание следующего слова в Интернете
  Как реализовать функцию «Предсказать следующее слово» в Интернете?

Если я хочу развернуть в Интернете модель прогнозирования следующего слова, какие факторы мне следует учитывать?
Есть ли различия в том, как модель работает в веб-среде по сравнению с мобильным приложением? Какие API мне следует использовать для подключения модели к пользовательскому интерфейсу?

Подробнее здесь: https://stackoverflow.com/questions/790 ... mobile-app