Как автоматизировать взаимодействие пользовательского интерфейса в приложении Java с различными размерами шрифтов и разр ⇐ Python

[Anonymous]

Я создаю скрипт Python для автоматизации нажатия клавиш и ввода данных в приложении на основе Java. Я определил некоторые элементы пользовательского интерфейса (JLabel «Новый элемент» и JLabel «Поиск») с помощью Power Automate, но не знаю, как получить доступ к этим идентификаторам непосредственно в серверной части Java с помощью Python.
Попытки использования pygetwindow, pyautogui и компьютерного зрения работают только при одинаковых разрешениях экрана, размерах шрифтов и аппаратном обеспечении, что ограничивает удобство использования, в основном хотелось бы решить проблему размера шрифта. Есть ли лучший способ добиться надежной автоматизации пользовательского интерфейса при различных настройках экрана или мне следует сосредоточиться на непосредственном доступе к идентификаторам Java?

Подробнее здесь: https://stackoverflow.com/questions/791 ... d-screen-r