Эффективный SQL-запрос с помощью pandas с использованием databricks-sql-python ⇐ Python

[Anonymous]

Databricks позволяет выполнять SQL-запросы через API с использованием пакета databricks-sql-python.
Существует два способа создания объекта соединения, который можно поместить в pd. read_sql_query(sql, con=connection). Мне интересно, какой из них лучше с точки зрения производительности и надежности при выполнении SQL-запросов из панд:

• Создание Python DB API 2.0 с помощью
  
  Создание Python DB API 2.0 с помощью
  
  p>

  Код: Выделить всё

  from databricks import sql
  
  connection = sql.connect(server_hostname=host, http_path=http_path)
  

  это работает, но выдает следующее предупреждение:

  Код: Выделить всё

  UserWarning: pandas only supports SQLAlchemy connectable (engine/connection) or
  database string URI or sqlite3 DBAPI2
  connection. Other DBAPI2 objects are not tested. Please consider using SQLAlchemy.
  

  В коде реализации похоже, что они используют pyarrow, что мне кажется эффективным способом создания DataFrames панд. Однако предупреждение немного отпугивает.
• Другая альтернатива — использовать SQLAlchemy, у которой есть соединитель databricks, предоставляемый тот же пакет,

  Код: Выделить всё

  from sqlalchemy import create_engine
  
  engine = create_engine(f"databricks://
  
  Подробнее здесь: [url]https://stackoverflow.com/questions/79235310/efficient-sql-query-with-pandas-using-databricks-sql-python[/url]