У меня есть два изображения, A1 и A2, и я хочу обработать их с помощью трех нейронных сетей: B, C и D. Моя цель — спроектировать эти сети так, чтобы выполнялось следующее свойство распределения:B(C(A1)+D(A2))=B(C(A1))+B(D(A2)).
Требования:
Пока чисто линейные сети (например, без функций активации) могут удовлетворять этому свойству. Меня интересуют архитектуры, которые включают в себя нелинейности (например, ReLU, сигмоид), но все же приблизительно удовлетворяют этому дистрибутивному поведению.
Я открыт для предложений о том, как обеспечить линейное поведение или функции потерь, которые поддерживают это свойство во время обучения.
Структура сети в идеале должна позволять гибкость для реальных задач обработки изображений.
Ключевые вопросы:
Как я могу спроектировать такие сети или архитектуры, которые удовлетворяют этому свойству, даже при наличии нелинейностей?
Существуют ли специальные методы регуляризации или функции потерь, которые можно использовать для применения этого свойства во время обучения?
Существуют ли существующие архитектуры или идеи из литературы, которые могут помочь мне в достижении такого поведения?
Любые указатели, предложения или ссылки на аналогичные проблемы будем очень признательны. Спасибо!
У меня есть два изображения, A1 и A2, и я хочу обработать их с помощью трех нейронных сетей: B, C и D. Моя цель — спроектировать эти сети так, чтобы выполнялось следующее свойство распределения:B(C(A1)+D(A2))=B(C(A1))+B(D(A2)). Требования: [list] [*]Пока чисто линейные сети (например, без функций активации) могут удовлетворять этому свойству. Меня интересуют архитектуры, которые включают в себя нелинейности (например, ReLU, сигмоид), но все же приблизительно удовлетворяют этому дистрибутивному поведению.
Я открыт для предложений о том, как обеспечить линейное поведение или функции потерь, которые поддерживают это свойство во время обучения.
[*]Структура сети в идеале должна позволять гибкость для реальных задач обработки изображений.
[/list] Ключевые вопросы: [list] [*]Как я могу спроектировать такие сети или архитектуры, которые удовлетворяют этому свойству, даже при наличии нелинейностей?
[*] Существуют ли специальные методы регуляризации или функции потерь, которые можно использовать для применения этого свойства во время обучения?
[*]Существуют ли существующие архитектуры или идеи из литературы, которые могут помочь мне в достижении такого поведения? Любые указатели, предложения или ссылки на аналогичные проблемы будем очень признательны. Спасибо!