Невозможно загрузить транзакционную таблицу Hive в фрейм данных с помощью Spark2. ⇐ Python

[Anonymous]

Я пытаюсь загрузить транзакционную таблицу куста в фрейм данных PySpark, но получаю сообщение об ошибке:

py4j.protocol.Py4JJavaError: произошла ошибка при вызове o086.showString.
Вызвано: java.util.concurrent.ExecutionException: java.lang.NumberFormatException: для входной строки: «0289756_0000»

Использование SparkSession.builder и попытка загрузки в фрейм данных.
Есть ли способ загрузить транзакционную таблицу в фрейм данных?
Версия Spark: 2.1.0.2.6.0.3-8

Версия Python: 2.7.5
Я попробовал загрузить таблицу с помощью SparkSession.builder( ).
Я ожидал, что он вернет объект DataFrame.
spark = SparkSession.builder \
.appName(application_name) \
.config("spark.jars", "path/to/jar") \
.enableHiveSupport() \
.getOrCreate()

df = spark.read \
.format("jdbc") \
.option("url", jdbc_url) \
.option("dbtable", "database.table") \
.options(**properties) \
.load()

df.show() # Returns error above every time


Подробнее здесь: https://stackoverflow.com/questions/791 ... ing-spark2