Как надежно получить размер индекса Elasticsearch в Python ⇐ Python

[Anonymous]

В настоящее время я использую скрипт Python для получения твитов из потока Twitter и отправки их в индекс Elasticsearch. Мой следующий шаг — попытаться создать некоторую форму защиты, которая останавливает процесс потоковой передачи, когда индекс достигает желаемого размера файла (скажем, 2 ГБ). Я получил размер хранилища в байтах, но этот размер резко уменьшается после завершения потоковой передачи (с моими ограниченными знаниями я предполагаю, что Elasticsearch оптимизирует индекс), в результате чего у меня фактически получается размер файла меньше желаемого.

Есть ли какой-нибудь надежный способ узнать точный размер файла и использовать его как способ остановить поток?

Моя первоначальная идея должен был прекратить трансляцию после определенного количества твитов, но это ненадежно, поскольку каждый твит имеет разный размер, что не дает надежного способа убедиться, что он не превышает размер файла.

Подробнее здесь: https://stackoverflow.com/questions/421 ... -in-python