AWS позволяет запускать Airflow как услугу. Он имеет три различных среды, в которых его можно запускать: малую, среднюю и большую. Эти среды имеют разные конфигурации ЦП и ОЗУ. Я использовал большую конфигурацию, которая имеет 4 виртуальных процессора и 8 ГБ ОЗУ (для каждого работника), что позволяет по умолчанию запускать 20 одновременных задач (каждым работником). Мне удалось запустить около 40 задач параллельно с 1 рабочим (минимум рабочего = 1, максимальное количество рабочих = 1, планировщик = 2) (каждая задача выполнялась отдельно). Когда я запускаю более 40 задач, я обнаруживаю, что задержка задачи значительно увеличивается.
Поэтому, когда я увеличиваю количество рабочих, количество задач, которые я могу выполнить, должно быть умножением задач на одного рабочего и количество рабочих, но с 25 рабочими (мне удалось выполнить только около 260 задач. Когда я выхожу за пределы этого значения, задержка увеличивается.
Я пытаюсь выяснить, какие еще изменения конфигурации могут быть изменен для повышения производительности и уменьшения задержки. Если вам нужна дополнительная информация, дайте мне знать.
Я приложил скриншот своей конфигурации.
Конфигурация воздушного потока
Подробнее здесь: https://stackoverflow.com/questions/758 ... -dependant
