Является ли жесткий кодирование исходными и именами таблиц назначения в моем коде конвейера Data Python-риск безопасност ⇐ Python

[Anonymous]

Я строю конвейеры данных (ETL) с использованием Python и BigQuery. Мой репозиторий безопасно хранится на услуге, похожих на GitHub, и трубопровод будет построен в контейнере Docker, который позже запускается на кластере Kubernetes. Трубопроводы: < /p>

Загрузите данные из BigQuery. Исходные запросы жестко кодируются, содержащие набор данных. к конкретным таблицам BigQuery. Опять же, имена таблиц назначения твердые таблицы. Приватный ключ для генерации клиента, Project-ID становится атрибутом клиента, поэтому мне не нужно много беспокоиться об этом. Частный ключ безопасно передается в контейнер как секрет.
Еще одна вещь, которую я пробовал, - это создание переменных среды для имен таблиц назначения. Но мне кажется, что это может добавить ненужную сложность и безвестность в код.

Подробнее здесь: https://stackoverflow.com/questions/794 ... a-pipeline