Сканирование в Интернете. Определение основного содержимого веб-страницы в Java. ⇐ JAVA

[Anonymous]

Работаем над небольшим хобби-проектом, очищаем несколько веб-страниц, в основном блогов и новостных сайтов, которые публикуют наши пользователи.

У нас есть небольшой скрипт, который просто берет список URL-адресов и очищает страницы, извлекая весь контент, по сути, это версия hello world с использованием HTTP-компонентов Apache...

В любом случае, мы хотели бы провести некоторый анализ текста, который появляется на этих страницах. Но поскольку любой URL-адрес может появиться в любом формате, нам нужен какой-то достаточно надежный способ идентифицировать основной контент на веб-странице (несколько ошибок здесь и там — это нормально).

Знает ли кто-нибудь о каких-либо платформах с открытым исходным кодом или небольших сценариях на Java, которые можно использовать для идентификации основного текстового содержимого на веб-странице?

На ум приходит несколько методов, например, простой поиск самого большого элемента DOM с наиболее видимым текстом или сравнение количества символов, используемых для описания некоторого текста (т. е. метаданных) с фактическими текстовыми данными. Я надеялся, что кто-нибудь выпустит что-нибудь для этого на Java, но если нет, поскольку я собираюсь сделать это, есть ли необходимость в такой утилите?

Ура!

Подробнее здесь: https://stackoverflow.com/questions/785 ... ge-in-java