Большие вычисления с помощью Google Earth EnginePython

Программы на Python
Anonymous
Большие вычисления с помощью Google Earth Engine

Сообщение Anonymous »

Я провожу некоторые вычисления с помощью Google Earth Engine, используя отличный модуль Python Geemap. Я использую набор данных MODIS MOD09GA, из которого извлекаю определенные полосы на большой территории (бореальная Канада) с помощью Polygon. Начиная с этой части, я работаю локально с pandas df. После перепроецирования всей коллекции я вычисляю индексы растительности, такие как NDVI. После этого я вычисляю аномалии этих индексов.
Аномалия определяется как разница между средним значением в данном месте за 15 дней до данного события по сравнению с этим же средним значением за 10 предыдущих лет. Пример: ano = среднее(15 июня - 30 июня 2024 г.) - 1/10mean(среднее(15 июня - 30 июня, 20xx), для x в 14-23).
Что, если я правильно понимаю, означает, что мои вычисления не очень интенсивны, а узкое место скорее связано с большим количеством операций чтения.
Я обрабатываю около 400 000 местоположений/дней.
После первой реализации я понял, что превысил квоту запросов/минут. Мне было интересно, как лучше всего обеспечить соблюдение квоты в моем коде. Я наивно пытался добавить time.sleep(), который вроде бы помогает, но очень сильно замедляет мои вычисления.
Мне было интересно, улучшит ли вычисление NDVI раз и навсегда (на уровне коллекции, в самом начале) мое время вычислений.
Кроме того, стоит отметить, что, судя по тому, что я видел в консоли GEE API, мой код превышает квоту в течение первой минуты вычислений, а затем всегда остается внизу, что меня удивляет, потому что я пытался проверить, успешно ли он перепроецировался, и, похоже, так оно и было, по крайней мере, он не выходит из строя до того, как достигнет части вычисления аномалий.
Любая помощь приветствуется, большое спасибо,

Вернуться в «Python»