Как спроектировать стабильную сеть глубокого обучения, удовлетворяющую линейности (например, f(x+y) = f(x) + f(y)) ⇐ Python

[Anonymous]

Я пытаюсь разработать сеть глубокого обучения, в которой нейронная сеть f удовлетворяет условию линейности:

f(x+y) = f(x ) + f(y) для наборов данных x и y.

Когда я проектирую f, используя только полносвязные слои (FCN), я могу добиться желаемой линейной свойство математически. Однако во время обучения потери становятся нестабильными, что приводит к плохой конечной производительности.
Чтобы стабилизировать обучение, я рассмотрел возможность использования пакетной нормализации (BN). Хотя BN успешно стабилизирует процесс обучения, он вносит вариативность среднего и стандартного отклонения между мини-пакетами, что нарушает условие линейности f(x+y)=f(x)+f(y).
Даже когда torch.nn.BatchNorm1d(affine=False) был применен, он тоже не сработал.
Итак, мой вопрос заключается в том, существуют ли какие-либо подходы, которые могут как стабилизировать обучение, так и сохранить линейность состояние. Будем очень признательны за любые идеи и предложения

Подробнее здесь: https://stackoverflow.com/questions/793 ... ity-e-g-fx