Относится к Python [закрыто] ⇐ Python

[Anonymous]

Как я могу оптимизировать производительность рекурсивного алгоритма для решения сложной комбинаторной задачи с помощью мемоизации и многопроцессорной обработки в Python?»
Я работаю над комбинаторной задачей, над которой мне нужно генерировать все возможные конфигурации заданных входных данных и вычислять результат на основе определенных ограничений. Вот краткое описание того, что я делаю:
Я использую рекурсивную функцию для генерации конфигураций.
Чтобы улучшить эффективности, я реализовал мемоизацию с помощью functools.lru_cache Python.
Однако размер входных данных значительно увеличился, и теперь вычисление решения занимает слишком много времени.
Я хочу изучить возможность использования многопроцессорных возможностей Python для распараллеливания вычислений. все еще используя мемоизацию. Однако я столкнулся со следующими проблемами:
lru_cache не является потокобезопасным или процессобезопасным.
Когда я разделил работу между несколькими процессы, кэш мемоизации не является общим между ними, что приводит к повторным вычислениям в разных процессах.
Управление общим состоянием для мемоизации между процессами является сложным и подвержено состояниям гонки.
Есть ли способ эффективно объединить многопроцессорность с общим кешем запоминания в Python? Если нет, то какие альтернативные подходы я могу использовать для оптимизации этого рекурсивного комбинаторного алгоритма?
Ограничения:
Размер входных данных может быть очень большим (например, сотни элементов).
Решение должно быть масштабируемым для использования на многоядерных машинах.
Дерево рекурсии имеет перекрывающиеся подзадачи, что делает запоминание необходимым для эффективности.
Я хочу, чтобы этот вопрос быть решена, и я ожидаю на него соответствующего ответа


Подробнее здесь: https://stackoverflow.com/questions/792 ... -to-python