Я работаю над проектом, в котором мне нужно загрузить меньшую часть данных (около 10 ГБ) с сайта air.inc.
Я все еще нахожусь на этапе планирования и не имею большого опыта в этом задачи. Я хотел бы знать, как к этому подойти.
Мне нужно отслеживать файлы, которые уже были загружены (база данных составляет 5 ТБ), чтобы избежать повторных загрузок. Мой основной стек — Python.
Подробнее здесь: https://stackoverflow.com/questions/789 ... -for-large
