Итак, я работаю над проектом. Я кратко объясню, какова ядро оператора проблемы -< /p>
Учитывая набор изображений, которые представляют архитектурные диаграммы корпоративного программного обеспечения, создать систему, которая может ответить на запросы на эти изображения Использование естественного языка. < /p>
Теперь есть много хороших, связанных с этим. Ядро состоит в том, что анализ изображения и идентифицирует узлы и их направленные отношения. Храните изображения < /li>
Определить узлы и отношения на изображениях < /li>
Создайте график в Neo4j < /li>
Кроме того, храните встроенные встроенные для поиска сходства < /li>
Пользовательский запрос - идентифицировать объекты < /li>
Поиск в графике, а также аналогичные узлы < /li>
Собирайте все вместе и получите реагирование на естественный язык, используя llm < /li>
< /ol>
Пока что мы сделали все шаги, проблема в том, что для шага 2 мы используют GPT 4, который иногда не работает хорошо. Работы на 100% точно. >
Идентифицировать формы, используя OpenCV < /li>
Сделать узлы, где бы 1 и 2 перекрывают < /li>
Удалить узлы с изображения < /li>
Определите стрелки (чтобы найти направление) и стирайте их < /li>
Покойный отдых - оставленные ребра, идентифицируйте все сегменты, используйте координаты, чтобы сформировать линию < /li> < Br /> Используя евклидовое расстояние, подключите ближайшие узлы и линии. Какой бы текст близок к строкам, это будет представлять отношения < /li>
Создать график, используя эту информацию < /li>
< /ol>
Я могу иметь объяснил смутно, чтобы держать его коротким, но у меня есть ощущение, что это будет работать (угловые чехлы, такие как стрелка, или две стрелки пересекают друг друга, нуждаются в специальной обработке) < /p>
Я застрял на шаге 5 6. Open CV не распознает стрелки. Поэтому я обучил пользовательскую модель зрения в Azure. Это также не работает должным образом. < /P>
Шаг 6 - я попробовал открыть CV, но не смог правильно идентифицировать даже 90% строк. Проблема в том, когда строки слишком близки или имеют немного размытого изображения. < /P>
может кто -нибудь мне помочь. Что я могу улучшить в своем подходе или что я могу сделать, чтобы идентифицировать узлы и отношения на моем изображении. Спасибо
Подробнее здесь: https://stackoverflow.com/questions/794 ... e-of-graph
