Вопрос разработки архитектуры озера данных ⇐ C#

[Гость]

Я работаю в транспортной компании, и нам приходится ежедневно получать транзакции от разных поставщиков топлива (например, АЗС). Конечно этот механизм должен работать через Hangfire (надеюсь).
Я пытаюсь построить архитектуру такой системы хранения данных. Может быть у кого-то есть идеи?
Процесс выглядит следующим образом:

• Система берет данные от поставщика.< /li>
  Мы храним данные в нашей базе данных.
• Из базы данных данные доставляются в другие службы
  < /ol>
  Нюансы:
• Данных много, нужно быстро их загрузить. Возможно, здесь поможет нереляционная база данных.
• транзакции могут быть перезаписаны поставщиком.
• Транзакции могут дублироваться или теряться.

Я в замешательстве. Пока идея такая: организовать работу через Apache Kafka, сделать своеобразное Data Lake, так как эти данные будут использовать другие сервисы.
Наши технологии: .NET/C#

Подробнее здесь: https://stackoverflow.com/questions/781 ... chitecture