Как загрузить .sql-файл операторов sql в SnowflakePython

Программы на Python
Ответить
Anonymous
 Как загрузить .sql-файл операторов sql в Snowflake

Сообщение Anonymous »

У меня есть файл .sql, содержащий операторы SQL Snowflake.
Например.

Код: Выделить всё

DROP TABLE IF EXISTS EMPLOYEES;
CREATE TABLE EMPLOYEES (ID INTEGER, NAME STRING, AGE INTEGER, DEPARTMENT_ID INTEGER);
INSERT INTO EMPLOYEES(ID,NAME,AGE,DEPARTMENT_ID) VALUES (1,'Steve',48,123),(2,'Mary',41,456);
Фактические файлы, которые мне нужно загрузить, могут иметь размер более 20 МБ и включать приведенные выше операторы для нескольких таблиц.
Значения оператора INSERT могут превышать максимальный размер столбца varchar в Snowflake. .
Два дополнительных предостережения: 1) файлы находятся в корзине AWS S3 и 2) мне нужно обработать их с помощью какой-то автоматизации (а не вручную из командной строки Snowflake CLI).
>
Есть ли быстрый и простой способ загрузить файл .sql с операторами sql в Snowflake?
Что я пробовал до сих пор:

[*]Загрузка из EXECUTE IMMEDIATE FROM, но размер файлов превышает максимальное значение в 10 МБ для этого оператора.
[*]Загрузка через Python прямо из S3 с использованием соединителя Snowflake (execute_stream) (не удалось пока мой Python не очень хорош)
[*]Загрузка в таблицу Snowflake, затем EXECUTE IMMEDIATE, но обнаружил, что оператор значений INSERT может превышать значение varchar(max)

Я видел, что SnowflakeSQL или Snowflake CLI могут это сделать. Есть ли способ автоматизировать их с помощью Python или Notebook Snowflake? Я подумал, что у Snowflake есть интересный способ загрузки больших файлов .sql, но мне пока не удалось его найти.
Большое спасибо.

Подробнее здесь: https://stackoverflow.com/questions/791 ... -snowflake
Ответить

Быстрый ответ

Изменение регистра текста: 
Смайлики
:) :( :oops: :roll: :wink: :muza: :clever: :sorry: :angel: :read: *x)
Ещё смайлики…
   
К этому ответу прикреплено по крайней мере одно вложение.

Если вы не хотите добавлять вложения, оставьте поля пустыми.

Максимально разрешённый размер вложения: 15 МБ.

Вернуться в «Python»