Databricks. Почему я получаю ошибку недопустимого ввода при использовании .display()? ⇐ Python

[Anonymous]

У меня есть фрейм данных Spark, определенный через spark.sql. Он состоит из одного столбца строкового формата с 28750 значениями. Все значения состоят из 10 цифр. Я хочу просмотреть данные следующим образом:

Код: Выделить всё

my_dataframe.display()

Но это возвращает следующую ошибку:

[CAST_INVALID_INPUT] Значение «UNKNOWN» типа «STRING» не может
быть приведено к «BIGINT», поскольку оно неверно сформировано.

Я также получаю ту же ошибку из-за этого:

Код: Выделить всё

my_dataframe.count()

Я понимаю, что «UNKNOWN» нельзя преобразовать в bigint, потому что это не число. Но я запустил SQL, который создает кадр данных, и результаты не содержат «НЕИЗВЕСТНО». Итак, у меня есть несколько вопросов:

• Почему Databricks считает, что мой фрейм данных содержит строку «UNKNOWN»?
• Почему функция отображения вообще преобразует мои данные в bigint?
• Как я могу решить эту проблему?

Я очень запутался, поэтому все, что поможет мне понять, что происходит, приветствуется!

Подробнее здесь: https://stackoverflow.com/questions/798 ... ng-display