Кэшируйте данные в Snowpark с помощью modin.pandas.Python

Программы на Python
Ответить
Anonymous
 Кэшируйте данные в Snowpark с помощью modin.pandas.

Сообщение Anonymous »

Я новичок в Snowflake и просто пытаюсь запустить скрипт Python, использующий Pandas и numpy, просто используя Snowpark. Следуя документации, я заменил импорт pandas на modin.pandas и импортировал плагин сноупарка ( import Snowflake.snowpark.modin.plugin).Цель состоит в том, чтобы использовать серверную часть Snowflake без (или с минимальными усилиями) изменения моего сценария. Есть некоторые моменты, которые наверняка не охвачены интерфейсом Modin Pandas и для которых я написал несколько обходных путей. Отладить это, к сожалению, невозможно! Из-за отложенного вычисления вся логика каждый раз перезапускается, поэтому, чтобы просто получить содержимое переменной (здесь idx) в консоли отладки VSCode, мне нужно ждать МНОГО :
Изображение
Здесь вопрос:
Есть ли какой-нибудь способ кэшировать промежуточные результаты (как в Spark), чтобы не выполнять все заново?
Есть лучший способ отладки?
Есть способ отладки получше?
p>
Спасибо!

Подробнее здесь: https://stackoverflow.com/questions/791 ... din-pandas
Ответить

Быстрый ответ

Изменение регистра текста: 
Смайлики
:) :( :oops: :roll: :wink: :muza: :clever: :sorry: :angel: :read: *x)
Ещё смайлики…
   
К этому ответу прикреплено по крайней мере одно вложение.

Если вы не хотите добавлять вложения, оставьте поля пустыми.

Максимально разрешённый размер вложения: 15 МБ.

Вернуться в «Python»