Стоит ли делиться с такой задержкой? [закрыто] ⇐ MySql

[Anonymous]

Недавно я присоединился к крупной индийской технологической компании в Ченнаи в качестве стажера по разработке программного обеспечения. В настоящее время я работаю над сегментированием базы данных, и, хотя поначалу это казалось интересным, по мере того, как я углублялся, оно становилось все более сложным и утомительным для ума.
На высоком уровне я понимаю стандартные принципы сегментирования, такие как сегментирование на основе схемы, выбор сегментных ключей и совместное размещение соединений. Однако теперь мне предстоит разработать решения для межсегментных соединений и, возможно, создать прокси-уровень MySQL, который будет располагаться перед несколькими экземплярами сегментов MySQL. Этот прокси-сервер будет отвечать за анализ запросов, их маршрутизацию в соответствующие сегменты и объединение результатов, сохраняя при этом задержку чрезвычайно низкой.
Проблема, с которой я столкнулся, заключается в том, что, похоже, не существует единой стратегии сегментирования, которая хорошо работала бы для всех схем и шаблонов запросов. Разработка «лучшего» или универсального подхода кажется нереальной.
Это заставило меня задаться вопросом, всегда ли сегментирование стоит таких сложностей. Одна альтернативная идея, которую я рассмотрел, — это агрессивная денормализация:
Store data in one or a few large denormalized tables.

Let the application team logically treat the data as separate tables.

Use a proxy layer that rewrites application queries into queries over the denormalized schema.

Я понимаю, что эта идея несколько расплывчата и требует компромиссов, но я пытаюсь понять, может ли она снизить сложность операций и планирования запросов.
В настоящее время для межсегментных соединений я думаю следующим образом:
Identifying the more selective (smaller) table.

Loading it into the proxy as an in-memory hash structure.

Streaming rows from the second table and performing a hash join inside the proxy before returning results.

Учитывая, что задержка является ключевым требованием, мои вопросы:
Am I thinking about this problem in the right direction, architecturally?

Are proxy-level joins, denormalization, or hash-join–style approaches reasonable in real-world high-scale systems, or am I missing fundamental issues?

From a career perspective, what kind of compensation/package should a fresher or intern working on such low-level, high-impact database infrastructure reasonably expect?


Подробнее здесь: https://stackoverflow.com/questions/798 ... at-latency