Как собирать новости с помощью газеты3k ⇐ Python

[Anonymous]

Я пытаюсь собирать новости с помощью газеты 3k. Мне удалось сделать это с большинством веб-сайтов, используя приведенный ниже код.

Код: Выделить всё

import newspaper
url = "https://www.sample.com"
website = newspaper.build(url, memoize_articles = False, MAX_SUMMARY = 300)
for article in website.articles:
print(article.url)
print(article.title)

Однако есть сайты, на которых этот код не работает. Например, когда я вставляю «https://www.bloomberg.com/search?query=gold» в URL-адрес, я получаю нужные результаты, но когда я вставляю «https://www.reuters.com/site- search/?query=gold» в URL-адресе, я не вижу результатов.
Чтобы выяснить проблему, я также запустил приведенный ниже код, и результат был «Количество статей». найдено: 0".

Код: Выделить всё

import newspaper
url = "https://www.reuters.com/site-search/?query=wheat"
website = newspaper.build(url, memoize_articles=False)

print(f"Number of articles found: {len(website.articles)}")
for article in website.articles:
print(article.url)
print(article.title)

Я не знаю, почему код не может распознать статьи со вторым URL-адресом и как решить эту проблему.
Любая помощь было бы оценено. Заранее спасибо.

Подробнее здесь: https://stackoverflow.com/questions/790 ... ewspaper3k