Я создаю бота, с помощью которого мы можем управлять нашим устройством с помощью голоса, на данный момент он генерирует сценарий в формате JSON и следует за ним.
У меня возникла проблема: он не может найти какой-либо текст или значок и случайно угадывает координаты.
Я хочу, чтобы он был точным, нажимал на него и правильно выполнял другие функции, такие как рисование круга и т. д.
Пока вывод JSON выглядит так: он щелкает по тексту но я также хочу добавить функцию для поиска значков.
ACTION:
[
{"thought": "The user wants to open Brave and go to netflix.com. First, I need to open the Brave browser. I will use the system search for this.", "operation": "press", "keys": ["win"]},
{"thought": "Type 'brave' into the search bar to find the Brave browser.", "operation": "write", "content": "brave"},
{"thought": "Press Enter to open the Brave browser.", "operation": "press", "keys": ["enter"]},
{"thought": "Now that Brave is open, I need to navigate to netflix.com. I will use the address bar for this.", "operation": "write", "content": "netflix.com"},
{"thought": "Press Enter to go to netflix.com.", "operation": "press", "keys": ["enter"]},
{"thought": "I have successfully opened Brave and navigated to netflix.com.", "operation": "done", "summary": "Opened Brave browser and navigated to netflix.com."}
]
done : Opened Brave browser and navigated to netflix.com.
Приглашение, которое я использовал для AI, следующее:
### AVAILABLE OPERATIONS
1. click_text
{ "operation": "click_text", "text": "exact visible text" }
2. write
{ "operation": "write", "content": "text to type" }
3. press
{ "operation": "press", "keys": \["enter"\] }
4. done
{ "operation": "done", "summary": "what was completed" }
