Перейдите по исходному URL-адресу на веб-сайтах управления социальными сетями. ⇐ Python

[Anonymous]

Я занимаюсь парсингом веб-страниц в рамках академического проекта, где важно, чтобы все ссылки вели к реальному контенту. Досадно, что на сайтах «управления социальными сетями» случаются серьезные ошибки, когда пользователи публикуют свои ссылки, чтобы определить, кто на них нажимает.

Например, рассмотрим эту ссылку на linkis.com, которая ссылается на http:// + bit.ly + /1P1xh9J (отдельная ссылка из-за ограничений публикации SO), которая, в свою очередь, ссылается на http://conservatives4palin.com. Проблема возникает из-за того, что исходная ссылка на linkis.com не выполняет автоматическое перенаправление вперед. Вместо этого пользователю нужно щелкнуть крестик в правом верхнем углу, чтобы перейти к исходному URL-адресу.

Кроме того, существуют разные варианты (см., например, ссылку 2 на linkis.com, где крестик находится в левом нижнем углу веб-сайта). Это единственные два варианта, которые я нашел, но их может быть больше. Обратите внимание, что я использую веб-скребок, очень похожий на этот. Функциональность для перехода по фактической ссылке не обязательно должна быть стабильной/функционирующей с течением времени, поскольку это одноразовый академический проект.

Как мне автоматически перейти на исходный URL-адрес? Будет ли лучшим подходом создать регулярное выражение, которое находит соответствующую ссылку?

Подробнее здесь: https://stackoverflow.com/questions/446 ... t-websites