Алгоритм копирования файлов из хранилища BLOB-объектов Azure в базу данных Azure sql без потерь с помощью Python ⇐ Python

[Anonymous]

У меня общий вопрос:
у меня есть файлы в хранилище BLOB-объектов Azure, которое оно создает каждый день. поэтому мне нужно скопировать эти файлы в базу данных Azure sql. Иногда мое хранилище BLOB-объектов Azure или Azure sql терпели неудачу. так как же копировать файлы без потерь в базу данных Azure sql каждый день?
с помощью Python?
Я пробовал несколько библиотек:

Код: Выделить всё

import os
from azure.identity import ClientSecretCredential
from azure.storage.blob import BlobServiceClient
import polars as pl
from tqdm import tqdm
from datetime import datetime
import sys
from azure.storage.blob import ContainerClient
from azure.core.exceptions import ResourceNotFoundError, ClientAuthenticationError
import re
from dotenv import load_dotenv
import pickle
import io
import pandas as pd
from sqlalchemy import create_engine
import urllib
import logging
import sys
import time
import sqlalchemy
from typing import Sequence, Hashable
from collections import defaultdict

Мне нужен общий алгоритм или решение с помощью Python, а не инструментов Azure. поскольку инструменты Azure, такие как фабрика данных Azure, не работают должным образом с файлами .parquet...


Подробнее здесь: https://stackoverflow.com/questions/792 ... -without-l