Как соскрести полный текст статьи с таких сайтов, как MoneyControl, Standland, Economic Times (обход 403/доступа отказан ⇐ Python

[Anonymous]

Я строю модель анализа настроений, используя финансовые новостные статьи в Python. />[*]https://www.business-standard.com
[*]https://economictimes.indiatimes.com

Я использую Playwright в режиме без головы, чтобы снять текст тела статьи по каждой ссылке. Но я сталкиваюсь с такими проблемами, как:

• 401 несанкционированный
• 403 Запрещено
• Access Denied - You don't have permission to access this server
• В некоторых случаях я перенаправляюсь на такие страницы, как «Эта статья является частью блога, связанного с AI-ассистентом ...»

вот фрагмент моего кода:



Подробнее здесь: https://stackoverflow.com/questions/796 ... s-standard