PHP cURL – Как проверить, получает ли Google Crawler правильный файл robots.txt ⇐ Php

[Anonymous]

Google каким-то образом начал индексировать https-версию моего сайта. Чтобы остановить это, я прочитал руководство, в котором говорилось, что мне нужны 2 разных файла robots.txt и дополнительный код в .htaccess

.htaccess

Код: Выделить всё

RewriteCond %{HTTPS} on
RewriteRule ^robots\.txt$ robots-https.txt

robots-https.txt

Код: Выделить всё

User-agent: *
Disallow: /

Прошло несколько дней, а Google до сих пор не начал деиндексировать https-страницы.
Так что теперь я немного волнуюсь и хочу проверьте, правильно ли внесены изменения.

Есть ли способ с помощью PHP и cURL проверить, какой файл robots.txt используется в https-соединении?

Спасибо за любые предложения!

Подробнее здесь: https://stackoverflow.com/questions/145 ... robots-txt