Как настроить Apache Sqoop на Puython для работы с большими нагрузками? ⇐ Python

[Гость]

Я ищу способы тонкой настройки sqoop при использовании на Python, чтобы он мог обрабатывать большие нагрузки.

До сих пор я рассматривал num_mappers, Split_by, пакетную обработку и увеличение памяти на карте, используя что-то вроде mapreduce.map.memory.mb.

Хотя первые три определить легко, я не могу найти никакой документации или примеров того, как увеличить размер памяти на карте. Мой код выглядит следующим образом. Не могли бы вы посоветовать, правильно ли это сделать?
из airflow.models import DAG из airflow.contrib.operators.sqoop_operator импортировать SqoopOperator из airflow.utils.dates импорт дней_назад Dag_Sqoop_Import = DAG(dag_id="SqoopImport", Schedule_interval="* * * * *", start_date=days_ago(2)) sqoop_mysql_import = SqoopOperator(conn_id="sqoop_local", таблица="метод доставки", cmd_type="импорт", число_мапперов = 8, target_dir="/airflow_sqoopImport", driver="com.mysql.jdbc.Driver", число_мапперов = 1, Task_id="SQOOP_Import", свойства = {"mapreduce.map.memory.mb":1000} даг=Dag_Sqoop_Import) sqoop_mysql_import