Распознавание кнопок графического интерфейса в окне приложения с использованием Python и OpenCV ⇐ Python

[Anonymous]

все. Я хочу обнаружить кнопки графического интерфейса в окне приложения с помощью Python.

Я использую модель OCR tesseract для обнаружения текста, но не могу обнаружить некоторые кнопки в окне. Эта модель распознает текст, но иногда не распознает кнопки. Например, он не может одновременно обнаружить кнопки «Назад», «Вперед», «Обновить», «Мин», «Макс» и «Закрыть» в окне проводника. Как решить эту проблему. С нетерпением ждем вашего любезного ответа. такой код тессеракта

импортировать повторно импортировать cv2 импортировать питессеракт из вывода импорта pytesseract img = cv2.imread('invoice-sample.jpg') d = pytesseract.image_to_data(img, output_type=Output.DICT) ключи = список(d.keys()) date_pattern = '^(0[1-9]|[12][0-9]|3[01])/(0[1-9]|1[012])/(19|20)\d\d $' n_boxes = len(d['text']) для меня в диапазоне (n_boxes): если int(d['conf']) > 60: if re.match(date_pattern, d['text']): (x, y, w, h) = (d['left'], d['top'], d['width'], d['height'] ) img = cv2.rectangle(img, (x, y), (x + w, y + h), (0, 255, 0), 2) cv2.imshow('img', img) cv2.waitKey(0) И результат такой. Это результат распознавания текста в тессеракте