У меня есть большой фрейм данных. Я хочу преобразовать их в соответствующий тип dtype. Проблема в том, что в нескольких числовых столбцах есть строки. Я знаю про Convert_dtypes и to_numeric.
< li>Проблема с Convert_dtypes заключается в том, что он не выводит столбец как int/float, как только там есть строки; to_numeric, с другой стороны, имеет «приведение», которое превращает все недопустимые примеры в nan.
Проблема to_numeric заключается в том, что есть несколько столбцов, которые являются строками. , поэтому я не могу просто запустить его для всех столбцов.
Поэтому я ищу функцию, которая преобразует dtypes в числовые, если таковые имеются определенный % числовых значений в нем. Это было бы здорово, если бы можно было установить пороговое значение для этого.
(Как упоминалось ранее, набор данных большой, поэтому я бы предпочел какое-то решение, которое автоматически обрабатывает все столбцы.)
У меня есть большой фрейм данных. Я хочу преобразовать их в соответствующий тип dtype. [b]Проблема в том, что в нескольких числовых столбцах есть строки.[/b] Я знаю про Convert_dtypes и to_numeric. [list] < li>Проблема с Convert_dtypes заключается в том, что он не выводит столбец как int/float, как только там есть строки; to_numeric, с другой стороны, имеет «приведение», которое превращает все недопустимые примеры в nan. [*]Проблема to_numeric заключается в том, что есть несколько столбцов, которые являются строками. , поэтому я не могу просто запустить его для всех столбцов. [/list] Поэтому я ищу [b]функцию, которая преобразует dtypes в числовые, если таковые имеются определенный % числовых значений в нем.[/b] Это было бы здорово, если бы можно было установить пороговое значение для этого. (Как упоминалось ранее, набор данных большой, поэтому я бы предпочел какое-то решение, которое автоматически обрабатывает все столбцы.)
У меня есть набор данных, хранящийся в pyspark.pandas.frame.DataFrame, который я хочу преобразовать в pyspark.sql.DataFrame, прежде чем сохранять его в дельта-файл. Как это сделать правильно?
PS: Причина в том, что я хочу обеспечить соблюдение схемы...
В настоящее время я работаю над функциональностью, где пользователи хотят сохранить одно сообщение в заголовке страницы, чтобы уведомить других о чем -то, что происходит в системе. По сути, заголовок, который может быть обновлен любым пользователем....
В настоящее время я работаю над функциональностью, где пользователи хотят сохранить одно сообщение в заголовке страницы, чтобы уведомить других о чем -то, что происходит в системе. По сути, заголовок, который может быть обновлен любым пользователем....
Мобильная версия