Управление памятью на машине с несколькими контейнерами DockerPython

Программы на Python
Ответить Пред. темаСлед. тема
Anonymous
 Управление памятью на машине с несколькими контейнерами Docker

Сообщение Anonymous »

У нас есть машина Debian, на которой мы запускаем несколько контейнеров Docker, используемых для запуска сценариев Python. Некоторые из этих сценариев используют значительную часть памяти нашей машины. Время от времени даже случается, что процесс использует слишком много памяти и вылетает из-за OOM (и нам приходится переделывать скрипт, чтобы он как-то использовал меньше памяти).
Это происходит из-за наши скрипты обрабатывают значительные объемы данных.
Мне хотелось бы иметь возможность назначать приоритеты памяти между запущенными контейнерами. По сути, иметь возможность приостанавливать работу контейнеров (за исключением контейнера с наивысшим приоритетом), если памяти становится недостаточно. Я знаю, что мог бы назначить мягкие ограничения памяти, но тогда контейнеры останавливались бы, когда их предел будет достигнут, что привело бы к сбою запуска сценария Python. Есть ли разумный способ автоматически приостановить контейнер (а не останавливать его), если он достигнет определенного уровня использования памяти? И запускается ли он снова, когда память становится доступной?
Мы пытались использовать ограничения памяти контейнеров Docker, но затем скрипт Python, работающий внутри контейнера, аварийно завершает работу, когда контейнер останавливается, так что это для нас это немного проблематично.

Подробнее здесь: https://stackoverflow.com/questions/790 ... -container
Реклама
Ответить Пред. темаСлед. тема

Быстрый ответ

Изменение регистра текста: 
Смайлики
:) :( :oops: :roll: :wink: :muza: :clever: :sorry: :angel: :read: *x)
Ещё смайлики…
   
К этому ответу прикреплено по крайней мере одно вложение.

Если вы не хотите добавлять вложения, оставьте поля пустыми.

Максимально разрешённый размер вложения: 15 МБ.

  • Похожие темы
    Ответы
    Просмотры
    Последнее сообщение
  • Управление памятью на машине с несколькими контейнерами Docker
    Anonymous » » в форуме Python
    0 Ответы
    18 Просмотры
    Последнее сообщение Anonymous
  • Управление памятью на машине, на которой работает несколько докер-контейнеров
    Anonymous » » в форуме Python
    0 Ответы
    11 Просмотры
    Последнее сообщение Anonymous
  • Управление памятью на машине, на которой работает несколько докер-контейнеров
    Anonymous » » в форуме Linux
    0 Ответы
    13 Просмотры
    Последнее сообщение Anonymous
  • ChildProcessCrashException при многопроцессном выполнении Dagster при развертывании Docker с несколькими контейнерами
    Anonymous » » в форуме Python
    0 Ответы
    16 Просмотры
    Последнее сообщение Anonymous
  • Управление памятью в Docker (Swarm)
    Anonymous » » в форуме Linux
    0 Ответы
    8 Просмотры
    Последнее сообщение Anonymous

Вернуться в «Python»