Мобильная версияЯ работаю над проектом компьютерного зрения, в котором мне нужно обрабатывать изображения головоломок судоку с уникальными формами и символами. Эти головоломки включают в себя нестандартные варианты судоку с дополнительными визуальными элементами, такими как цветные линии, стрелки, ромбы, группы Ренбан или другие особые фигуры, накладывающиеся на сетку. Моя цель — обнаружить, классифицировать и извлечь эти элементы программным способом.
Для справки, вот несколько примеров типов головоломок, с которыми я имею дело:
Задание включает в себя:
Обнаружение формы. Идентификация визуальных элементов (например, L-образных фигур, стрелок или линий) внутри ячейки сетки и их различие.
< strong>Классификация символов: Распознавание уникальных шаблонов (например, отличать стрелки от ромбов) и связывать их с определенными правилами.
Выравнивание сетки: обеспечение правильной идентификации символов в соответствующих ячейках сетки судоку. p>
Формат вывода: Преобразование всех обнаруженных элементов в структурированное представление JSON для дальнейшего анализа.
Существующий подход: I попробовал следующее:
Классическое компьютерное зрение: используется OpenCV с обнаружением краев (Canny) и поиском контуров, но результаты противоречивы из-за перекрывающихся форм и переменных размеров.
Глубокое обучение. Попытка обучить CNN на ограниченном количестве размеченных данных. Однако размера набора данных недостаточно для достижения надежной точности.
В чем мне нужна помощь:
Рекомендации по обнаружение нескольких перекрывающихся фигур (например, стрелок и линий в одной ячейке).
Предложения по расширению ограниченных наборов данных или предварительно обученных моделей, подходящих для решения подобных задач.
Рекомендации по сочетанию классических методов с машинное обучение для большей точности.
Методы эффективного выравнивания сетки, особенно когда изображения могут иметь небольшие повороты или искажения.
Подход 1: Обнаружение формы и стрелок.
Инструменты: OpenCV (Python).
Основные шаги: преобразуйте изображение в оттенки серого для упрощения обработки. Используйте размытие по Гауссу, чтобы уменьшить шум и сгладить изображение.
Примените алгоритм обнаружения краев Canny для определения краев изображения.
Используйте cv2.findContours для обнаружения фигур и аппроксимации их геометрии:
Формы с более чем 8 вершинами считаются кругами и выделяются с помощью cv2.minEnclosingCircle.
Обнаружение прямых линий и стрелок. используя преобразование линий Хафа (cv2.HoughLinesP). Визуализируйте результаты с обнаруженными фигурами и линиями, нарисованными на изображении.
Проблемы:
Непоследовательное обнаружение перекрывающихся фигур и символов. Трудно разделить похожие элементы, такие как линии и стрелки, когда они перекрываются или являются частью группы.
Подход 2: Поиск пути в лабиринтах
Инструменты : OpenCV, Numpy
Основные шаги: преобразуйте похожее на лабиринт изображение в оттенки серого и примените двоичный порог для создания черно-белой маски.
Определите контуры с помощью cv2.findContours. Определите начальную и конечную точки, проверив наличие кругов в определенных областях (например, углах).
Используйте алгоритм заливки, чтобы найти непрерывный путь между начальной и конечной точками.
Извлеките координаты пути, используя контуры залитой области.
Проблемы: Неэффективно, когда пути встроены в ячейки сетки или скрыто другими символами. Требуется точная настройка для определения начальной и конечной точек в различных макетах головоломок.
Подход 3: Аппроксимация контура и случайная выборка
Инструменты: OpenCV, Numpy , Случайный
Основные шаги:
Предварительная обработка изображения с помощью преобразования оттенков серого, размытия по Гауссу и определения порога Оцу для создания бинарной маски. Используйте cv2.findContours для извлечения внешних контуров. Приблизьте контуры, используя cv2.approxPolyDP для упрощения фигур. Фильтруйте контуры по их площади и количеству вершин, чтобы сосредоточиться на соответствующих формах. Случайным образом выбирайте точки из действительных контуров для дополнительной обработки или маркировки.
Проблемы: трудно различать визуально похожие элементы, такие как маленькие символы и шум. Случайная выборка вводит несоответствия в результатах.
Общие проблемы для всех подходов:
Перекрывающиеся элементы: трудности с разделением перекрывающихся фигур. (например, числа внутри кругов или стрелки, пересекающие линии).
Ограниченные данные: отсутствие достаточных обучающих данных для подходов машинного обучения, позволяющих надежно классифицировать формы.
Сложность формы: проблемы с обработкой неправильных форм и различением тонких различий (например, стрелок и линий).
Выравнивание сетки: обеспечение правильного сопоставления обнаруженных фигур с соответствующими ячейками сетки.< /п>
Подробнее здесь: https://stackoverflow.com/questions/792 ... -puzzle-im
