Получение новостных статей с сайта Yahoo Finance Canada ⇐ Python

[Anonymous]

Я пытаюсь повторно обратить все новостные статьи о компании, символ акций которого-Teck-B.To, которая была опубликована в 2024 году в Yahoo Finance Canada. Статьи можно увидеть в этом URL:
https://ca.finance.yahoo.com/quote/teck-b.to/news.
Как можно увидеть, есть более 50 статей об этой компании в вышеупомянутом URL. Статьи.

Код: Выделить всё

# Install necessary libraries
# %pip install requests beautifulsoup4 pandas

import requests
from bs4 import BeautifulSoup
import pandas as pd
from pyspark.sql.types import StructType, StructField, StringType, TimestampType
from datetime import datetime

def fetch_tmx_news_2024():
url = "https://ca.finance.yahoo.com/quote/TECK-B.TO/news/"
headers = {'User-Agent': 'Mozilla/5.0'}
response = requests.get(url, headers=headers)
soup = BeautifulSoup(response.text, "html.parser")

articles = []

for item in soup.find_all('li', class_='js-stream-content'):
link = item.find('a')['href'] if item.find('a') else None
title = item.find('a').text if item.find('a') else None
date_str = item.find('time')['datetime'] if item.find('time') else None

# Debug print to check each article's details
print(f"Title: {title}, Link: {link}, Date: {date_str}")

if date_str:
date = datetime.strptime(date_str, "%Y-%m-%dT%H:%M:%SZ")
print(f"Parsed Date: {date}")  # Debug print to check parsed date
if date.year == 2024:
articles.append({
'title': title,
'link': f"https://ca.finance.yahoo.com{link}" if link else None,
'date': date
})

# Debug print to check the articles list
print("Articles found: ", articles)

schema = StructType([
StructField("title", StringType(), nullable=True),
StructField("link", StringType(), nullable=True),
StructField("date", TimestampType(), nullable=True)
])

if articles:
return spark.createDataFrame(pd.DataFrame(articles), schema=schema)
else:
print("No articles found for the year 2024.")
return spark.createDataFrame(pd.DataFrame(columns=['title', 'link', 'date']), schema=schema)

# Invocation of the function
news_df = fetch_tmx_news_2024()

# Display Spark DataFrame
display(news_df)

Я ожидаю получить все статьи о вышеупомянутой компании, которая была опубликована в 2024 году в вышеупомянутом URL (https://ca.finance.yahoo.com/quote/teck-to/news/).

Подробнее здесь: https://stackoverflow.com/questions/790 ... da-website