Мобильная версияОписание проблемы:
Я пытаюсь очистить веб-сайт https://www.cbit.ac.in/current_students ... -calendar/, используя запросы библиотека вместе с BeautifulSoup. Однако при отправке запроса на веб-сайт я сталкиваюсь со следующей ошибкой проверки сертификата SSL:requests.exceptions.SSLError:
HTTPSConnectionPool(host='www.cbit.ac.in', port=443):
Max retries exceeded with url:
/current_students/acedamic-calendar/
(Caused by SSLError(SSLCertVerificationError(1,
'[SSL: CERTIFICATE_VERIFY_FAILED] certificate verify failed: unable to get local issuer certificate (_ssl.c:1123)')))
Подход:
Чтобы решить проблему проверки SSL, я попытался указать путь к сертификату ЦС, используя параметр проверки в запросах. Вызов функции .get(). Путь сертификата ЦС — /Users/rishilboddula/Downloads/cbit.ac.in.cer. Несмотря на это, ошибка проверки SSL сохраняется.После успешного очистки веб-сайта я собираюсь сохранить извлеченные URL-адреса в коллекции MongoDB с именем ull, используя pymongo библиотека. Однако из-за ошибки проверки SSL я не могу продолжить процесс очистки и вставки данных.
Запрос о помощи:
Я Мне нужны рекомендации по устранению ошибки проверки сертификата SSL, чтобы успешно очистить веб-сайт и вставить данные в MongoDB. Кроме того, если есть какие-либо рекомендации или альтернативные подходы для проверки сертификата SSL в Python, я был бы очень признателен за любую информацию.# Import necessary libraries
import requests
from bs4 import BeautifulSoup
import pymongo
# Specify the path to the CA certificate
ca_cert_path = '/Users/rishilboddula/Downloads/cbit.ac.in.cer'
# Make a request to the website with SSL verification
req = requests.get('https://www.cbit.ac.in/current_students ... -calendar/', verify=ca_cert_path)
# Parse the HTML content
soup = BeautifulSoup(req.content, 'html.parser')
# Extract all URLs from the webpage
links = soup.find_all('a')
urls = [link.get('href') for link in links]
# Connect to MongoDB
client = pymongo.MongoClient('mongodb://localhost:27017')
db = client["data"]
ull = db["ull"]
# Insert each URL into the MongoDB collection
for url in urls:
ull.insert_one({"url": url})
Подробнее здесь: https://stackoverflow.com/questions/782 ... -data-into
