Как извлечь все URL-адреса на веб-сайте с помощью BeautifulSoupPython

Программы на Python
Ответить
Anonymous
 Как извлечь все URL-адреса на веб-сайте с помощью BeautifulSoup

Сообщение Anonymous »

Я работаю над проектом, который требует извлечения всех ссылок с веб-сайта.
с помощью этого кода я получу все ссылки из одного URL-адреса:

Код: Выделить всё

import requests
from bs4 import BeautifulSoup, SoupStrainer

source_code = requests.get('https://stackoverflow.com/')
soup = BeautifulSoup(source_code.content, 'lxml')
links = []

for link in soup.find_all('a'):
links.append(str(link))
проблема в том, что если я хочу извлечь все URL-адреса, мне нужно написать еще один цикл for, а затем еще один... .
Я хочу извлечь все URL-адреса, которые существуют на этом веб-сайте и в поддоменах этого веб-сайта.
есть ли способ сделать это без написания вложенного for?
и даже с написанием вложенного for я не знаю, сколько for должно Я использую для получения всех URL-адресов.

Подробнее здесь: https://stackoverflow.com/questions/593 ... utifulsoup
Ответить

Быстрый ответ

Изменение регистра текста: 
Смайлики
:) :( :oops: :roll: :wink: :muza: :clever: :sorry: :angel: :read: *x)
Ещё смайлики…
   
К этому ответу прикреплено по крайней мере одно вложение.

Если вы не хотите добавлять вложения, оставьте поля пустыми.

Максимально разрешённый размер вложения: 15 МБ.

Вернуться в «Python»