Как эффективно обрабатывать более 1 тыс. SQL-записей для сценария использования преобразования текста в SQL? ⇐ Python

[Anonymous]

Я работаю над вариантом использования преобразования текста в SQL для клиента, где мне нужно обрабатывать более 1 тыс. SQL-записей. Проблема возникает, поскольку эти записи выходят за рамки контекстного окна модели Llama-3.3, предоставленной Groq. Кроме того, мне нужно создать графическое представление этих данных, и я рассматриваю возможность использования для этой цели Plotly JSON.
Есть ли эффективный способ обработки этого большого набора данных, отправки данных во внешний интерфейс и генерировать необходимое графическое представление, не перегружая контекстное окно и не ставя под угрозу производительность? Предложения и рекомендации будут высоко оценены!

Подробнее здесь: https://stackoverflow.com/questions/792 ... l-use-case