Я хочу иметь возможность соскрести конкретные веб -сайты из Интернета благодаря определению критериев. Я взял в качестве теста все веб-сайты, способствующие Shopify, и попробовал следующее: конкретный фрагмент HTML, который используют эти веб-сайты Shopify, обратный поиск на их DNS (все Ebsites имеют DNS 23.227.38.x, их CNAME (магазины. MyShopify.com).
Подробнее здесь: https://stackoverflow.com/questions/794 ... fficiently
