Проверка типов данных, условная логика и использование np.where,df.sort_values ​​и cumsum ⇐ Python

[Anonymous]

Это вопрос, касающийся вычисления значения флага 0 или 1 с использованием нескольких входных значений в кадре данных pandas. В то же время, если какое-либо из входных значений не является числом с плавающей запятой (или пустым, т.е. NaN в pandas), тогда флаг будет пустым, т.е. ''
Скажем, cols_to_check представляет список столбцов, которые служат входными данными.

Код: Выделить всё

# Function to check if a value is a floating point number
def is_floating_point(aString):
if (aString==aString): #this is to handle NaN values
try:
float(aString)
return True
except (ValueError, TypeError):
return False
else:
return False

# Check if all input values in the specified columns are floating points
data['valid'] = data[cols_to_check].applymap(is_floating_point).all(axis=1)

# Calculate the flag value
data['flag'] = np.where(data['valid'], data.sort_values(cols_to_check, ascending=[True, True, False, False, False,False]).groupby("emp_f8")["Rank"].cumsum(), '')
# data['flag'] = data.sort_values(cols_to_check, ascending=[True, True, False, False, False,False]).groupby("emp_f8")["Rank"].cumsum()

# Ensure flag is 0 or 1 (unless input data quality issue then it'd be '')
data['flag'] = np.where(data['flag'].astype(str) == '1','1', np.where(data['flag'].astype(str) == '', '', '0'))

В приведенном выше коде я, похоже, получаю правильные значения флагов, если не проверяю допустимый набор входных данных. Если я проверю достоверность набора входных данных (т. е. все входные значения имеют плавающую запятую, а не значение Null/ Blank/ NaN), то я не получу правильные значения флагов.
Почему бы это сделать? это не будет работать правильно, если я включу часть, в которой написано np.where(data['valid'],
По моему мнению, проверка типа данных и Операторы np.where вызывают неожиданное поведение. Я получаю значения флагов 1, тогда как для данного набора входных данных я должен получать значения флагов 0 и 1.

Подробнее здесь: https://stackoverflow.com/questions/791 ... es-and-cum