Запрос HTML-контента в общем наборе данных сканирования с помощью Amazon Athena ⇐ Python

[Anonymous]

В настоящее время я изучаю огромный набор данных Common Crawl, размещенный на Amazon S3, и пытаюсь использовать Amazon Athena для запроса этого набора данных. Моя цель — выполнить поиск в HTML-содержимом веб-страниц, чтобы определить те из них, которые содержат определенные строки в своих тегах. По сути, я хочу отфильтровать веб-сайты, HTML-контент которых соответствует определенным критериям.
Я знаю, что Athena способна выполнять запросы к большим наборам данных на S3 с использованием стандартного SQL. Однако я не совсем уверен в возможности и подходе к прямому запросу внутри HTML-контента веб-страниц в наборе данных Common Crawl.
Вот упрощенная версия того, что я ищу. достичь:

Код: Выделить всё

sql

SELECT *
FROM "common_crawl_dataset"
WHERE html_content LIKE '%specific-string%';

Можно ли напрямую запрашивать HTML-содержимое веб-страниц в наборе данных Common Crawl с помощью Athena? Если да, то какой
лучший подход для достижения этой цели с учетом эффективности и
экономической эффективности? Существуют ли какие-либо ограничения или проблемы, о которых мне
следует знать?

Подробнее здесь: https://stackoverflow.com/questions/772 ... zon-athena