Построение модели OCR ⇐ Python

[Anonymous]

Я работаю над моделью машинного обучения, где входными данными являются изображение и имя объекта, а цель — извлечь соответствующее значение объекта из изображения. Например, если имя объекта — «высота», а изображение содержит высоту двери, модель должна извлечь это значение (например, 6 футов) вместе с правильными единицами измерения.
Входные данные:
Изображение: содержит объект (например, дверь) и связанную с ним информацию (например, высоту или другие соответствующие измерения).
Имя объекта: ключевое слово, такое как «рост» или «вес», определяющее значение, которое нужно извлечь из изображения.
Выход:
Значение, соответствующее объекту на изображении, а также его единица измерения (например, «6 футов»).
Проблемы:
Значение объекта может появляться в разных частях изображения с разными текстовыми форматами, шрифтами или стилями.
Необходимы единицы измерения (например, метры, футы). распознаваться и извлекаться вместе со значением.
Вопросы:

• Каков наилучший подход или архитектура модели для обработки такого рода задачи?
• Существуют ли какие-либо конкретные методы или предварительно обученные модели, которые могут помочь объединить изображение и имя объекта в качестве входных данных для извлечения соответствующего значения из изображения?
• Существуют ли какие-либо конкретные методы или предварительно обученные модели, которые могут помочь в объединении изображения и имени объекта в качестве входных данных для извлечения соответствующего значения из изображения?
• Существуют ли какие-либо конкретные методы или предварительно обученные модели, которые могут помочь в объединении изображения и имени объекта в качестве входных данных для извлечения соответствующего значения из изображения? li>
  Как мне предварительно обработать изображения и метки для обучения модели такой задаче?
  Есть какие-либо рекомендации, ссылки или предложения по платформам и инструментам?< /li>

Я пытался использовать CNN+RNN с потерями CTC, но мои потери приближаются к 20 и больше не уменьшаются
Прикрепляю ссылку на свой Google Cloab
Ссылку на блокнот

Подробнее здесь: https://stackoverflow.com/questions/790 ... -ocr-model