Задача репликации файлов Windows Server: замена Robocopy для высокодоступных и в конечном итоге согласованных данных

Задача репликации файлов Windows Server: замена Robocopy для высокодоступных и в конечном итоге согласованных данных ⇐ JAVA

1 сообщение • Страница 1 из 1

Anonymous

Задача репликации файлов Windows Server: замена Robocopy для высокодоступных и в конечном итоге согласованных данных

Цитата

Сообщение Anonymous » 31 окт 2025, 08:29

Мы запускаем критическое веб-приложение на Windows Server с настройкой активного/пассивного переключения при отказе. Целостность данных и высокая доступность являются непреложными требованиями.
Текущая архитектура

Основные данные: Наше веб-приложение использует большой набор статических файлов, иногда превышающий 10 миллионов файлов и постоянно увеличивающийся.
Метод репликации: Вторичный (пассивный) сервер использует запланированный Задача Robocopy для извлечения файлов с основного (активного) сервера каждые $\приблизительно 2$ минуты.
Логика аварийного переключения: В сценарии аварийного переключения вторичный сервер должен выполнить один последний цикл репликации, прежде чем взять на себя обслуживание, чтобы обеспечить максимальную согласованность данных.

Критическая проблема
Текущая зависимость от Robocopy — наша единственная точка отказа в обеспечении согласованности данных. Мы сталкиваемся с случайными, непредсказуемыми сбоями (например, конфликтом ресурсов среды, временными проблемами разрешений при доступе к конкретному файлу), из-за которых Robocopy прекращает успешную репликацию на длительные периоды времени.
Поскольку высокая доступность имеет первостепенное значение, мы не можем задержать или заблокировать запуск вторичного сервера в случае сбоя окончательной репликации. Это означает, что вторичный сервер может запускаться с неполным, противоречивым и устаревшим набором данных, что приводит к критическим ошибкам приложений.
По сути: нам необходимо устранить риск того, что механизм репликации выйдет из строя автоматически или заблокирует аварийное переключение из-за проблем с утилитами на уровне ОС, подобных тем, которые наблюдаются в Robocopy.
Рассмотрены существующие решения (и почему они были использованы). Отклонено)

Общая/общая файловая система (например, SMB Share, DFS): Отклонено, поскольку это создает новую единую точку отказа (уровень хранения) и создает аналогичные сетевые проблемы доступности между серверами и ресурсом хранения.
Инструменты на основе Rsync (не для Windows) родной): Отклонено, поскольку они усложняют интеграцию среды Windows (сопоставление пользователей, контексты безопасности служб и т. д.) и по-прежнему полагаются на утилиты файловой системы, подверженные тем же рискам, связанным с окружающей средой и разрешениями.

Вопрос/ожидаемое решение
Мы ищем фундаментально другой, современный и независимый от среды подход для достижения окончательной согласованности миллионов файлов между этими двумя файлами. Серверы Windows.

Можно ли этого добиться с помощью выделенного безопасного API на основе HTTP для синхронизации (например, Primary предоставляет конечную точку манифеста/дельта и конечную точку получения)?
Какая расширенная масштабируемая альтернатива (например, на основе объектного хранилища, распределение, управляемое событиями) полностью отделит процесс репликации от локальной файловой системы Windows и логики разрешений, обеспечивая высокую вероятность доступности данных на вторичном сервере при аварийном переключении?
Мы используем базу данных MSSQL для нашего приложения с помощью mssql. Можем ли мы чего-нибудь добиться?

Мы ищем проверенные на производстве архитектурные шаблоны или конкретные технологии, которые могут обрабатывать большие объемы (более 10 миллионов файлов) и обеспечивать устойчивость к временным ошибкам сети/ОС.

Подробнее здесь: https://stackoverflow.com/questions/798 ... ly-availab

1761888566

Anonymous

Мы запускаем критическое веб-приложение на Windows Server с настройкой активного/пассивного переключения при отказе. Целостность данных и высокая доступность являются непреложными требованиями.
[b]Текущая архитектура[/b]
[list]
[*][b]Основные данные:[/b] Наше веб-приложение использует большой набор статических файлов, иногда превышающий [b]10 миллионов файлов[/b] и постоянно увеличивающийся.
[*][b]Метод репликации:[/b] Вторичный (пассивный) сервер использует запланированный Задача [b]Robocopy[/b] для извлечения файлов с основного (активного) сервера каждые $\приблизительно 2$ минуты.
[*][b]Логика аварийного переключения:[/b] В сценарии аварийного переключения вторичный сервер должен выполнить один последний цикл репликации, прежде чем взять на себя обслуживание, чтобы обеспечить максимальную согласованность данных.
[/list]
Критическая проблема
Текущая зависимость от [b]Robocopy[/b] — наша единственная точка отказа в обеспечении согласованности данных. Мы сталкиваемся с [b]случайными, непредсказуемыми сбоями[/b] (например, конфликтом ресурсов среды, временными проблемами разрешений при доступе к конкретному файлу), из-за которых Robocopy прекращает успешную репликацию на длительные периоды времени.
Поскольку [b]высокая доступность имеет первостепенное значение[/b], мы не можем задержать или заблокировать запуск вторичного сервера в случае сбоя окончательной репликации. Это означает, что вторичный сервер может запускаться с [b]неполным, противоречивым и устаревшим[/b] набором данных, что приводит к критическим ошибкам приложений.
[b]По сути: нам необходимо устранить риск того, что механизм репликации выйдет из строя автоматически или заблокирует аварийное переключение из-за проблем с утилитами на уровне ОС, подобных тем, которые наблюдаются в Robocopy.[/b]
Рассмотрены существующие решения (и почему они были использованы). Отклонено)
[list]
[*][b]Общая/общая файловая система (например, SMB Share, DFS):[/b] Отклонено, поскольку это создает новую [b]единую точку отказа[/b] (уровень хранения) и создает аналогичные сетевые [b]проблемы доступности[/b] между серверами и ресурсом хранения.
[*][b]Инструменты на основе Rsync (не для Windows) родной):[/b] Отклонено, поскольку они усложняют интеграцию среды Windows (сопоставление пользователей, контексты безопасности служб и т. д.) и по-прежнему полагаются на утилиты файловой системы, подверженные тем же рискам, связанным с окружающей средой и разрешениями.
[/list]
Вопрос/ожидаемое решение
Мы ищем [b]фундаментально другой, современный и независимый от среды подход[/b] для достижения окончательной согласованности миллионов файлов между этими двумя файлами. Серверы Windows.
[list]
[*]Можно ли этого добиться с помощью [b]выделенного безопасного API на основе HTTP[/b] для синхронизации (например, Primary предоставляет конечную точку манифеста/дельта и конечную точку получения)?

[*]Какая [b]расширенная масштабируемая альтернатива[/b] (например, на основе объектного хранилища, распределение, управляемое событиями) полностью отделит процесс репликации от локальной файловой системы Windows и логики разрешений, обеспечивая высокую вероятность доступности данных на вторичном сервере при аварийном переключении?

[*]Мы используем [b]базу данных MSSQL[/b] для нашего приложения с помощью mssql. Можем ли мы чего-нибудь добиться?

[/list]
Мы ищем проверенные на производстве архитектурные шаблоны или конкретные технологии, которые могут обрабатывать большие объемы (более 10 миллионов файлов) и обеспечивать устойчивость к временным ошибкам сети/ОС. 

Подробнее здесь: [url]https://stackoverflow.com/questions/79805426/windows-server-file-replication-challenge-replacing-robocopy-for-highly-availab[/url]