Я не говорю об извлечении текста или загрузке веб-страницы.
но я вижу, как люди загружают целые веб-сайты, например, есть каталог под названием «пример», и на нем даже нет ссылки на веб-сайте, откуда я знаю, что оно там? как загрузить «ВСЕ» страницы сайта? и как защититься?
например, в апаче есть "листинг каталогов", как получить список каталогов под корнем, если есть индексный файл уже?
Этот вопрос не зависит от языка, я был бы рад просто ссылке, объясняющей методы, позволяющие это сделать, или подробному ответу.
Подробнее здесь: https://stackoverflow.com/questions/190 ... e-doing-it
