Как автоматизировать взаимодействие пользовательского интерфейса в приложении Java с различными размерами шрифтов и разр ⇐ Python

[Anonymous]

Я разрабатываю скрипт Python для автоматизации нажатия клавиш и ввода данных в приложении на основе Java. У меня нет прямого доступа к коду приложения, но мне удалось получить некоторые идентификаторы элементов (например, JLabel «Новый элемент» и JLabel «Поиск») с помощью Power Automate. Это натолкнуло меня на мысль попробовать получить доступ к этим идентификаторам непосредственно из серверной части Java и передать их в Python, хотя я столкнулся с трудностями при попытке соединить эту информацию с Java на Python.
Чтобы Чтобы обойти эту проблему, я перешел к подходу, основанному на компьютерном зрении, где сценарий пытается найти элементы и взаимодействовать с ними, используя изображения на экране. Однако этот метод оказался ненадежным из-за ряда проблем. Приложение используется на экранах с разным разрешением, что влияет на расположение и видимость элементов. Размеры шрифта приложения могут меняться, что делает распознавание изображений менее точным. При тестировании на более старом компьютере с другой видеокартой сценарий не удался, вероятно, из-за различий в рендеринге.
До сих пор мне удавалось добиться желаемой автоматизации в моей настройке с помощью такие библиотеки, как pygetwindow, pyautogui, win32gui, win32con и screeninfo. Они позволяют сценарию находить окна, взаимодействовать с кнопками и вставлять данные. Однако этот подход работает стабильно только на системах с одинаковым разрешением экрана, похожими видеокартами (я тестировал с картой того же поколения) и одинаковыми размерами шрифтов.
Для моих нужд это решение не соответствует действительности, поскольку в идеале сценарий должен работать в различных конфигурациях. Мне нужен совет о наиболее надежном методе автоматизации взаимодействия пользовательского интерфейса с различным оборудованием, настройками экрана и конфигурациями шрифтов.

Подробнее здесь: https://stackoverflow.com/questions/791 ... d-screen-r