Поиск уникальных функций во всех группах в кадре данныхPython

Программы на Python
Ответить
Anonymous
 Поиск уникальных функций во всех группах в кадре данных

Сообщение Anonymous »

У меня есть набор сетевых данных, и мне кажется, что данные поступают из разных каналов. Таким образом, одна и та же временная метка повторяется для разных строк, что делает бессмысленным анализ временных рядов.
Моя цель — найти способ извлечь только одни конкретные данные потока/канала и выполнить анализ временных рядов только для этих данных.
Идентификатора потока/канала нет, поэтому среди 80 функций Я хочу проверить, есть ли столбец, который может действовать как идентификатор для поток.
Поэтому мне нужно сгруппировать по временной метке, проверить, есть ли столбец, который не повторяется в группе, например, функция1, и имеет ли этот объект1 такое же свойство в все остальные группы, то есть он не повторяется внутри группы временных меток.
Я написал этот код, но он дает неправильные результаты.
импортировать панды как pd
def find_unique_features(df, timestamp_col='Timestamp', ignore_features=None):
# Set default excluded features if none provided
if exclude_features is None:
exclude_features = ['Label','Flow Duration'] # flow duration and label is known to be non-unique

# Initialize a list to hold the names of unique features
unique_features = []

# Loop through each column in the DataFrame, excluding timestamp and specified features
for col in df.columns:
if col == timestamp_col or col in exclude_features:
continue

# Group by timestamp and count unique values in the column for each timestamp group
unique_counts = df.groupby(timestamp_col)[col].nunique()
print(f"In column '{col}', there are {unique_counts} unique values for the timestamp group.") # Check if all groups have unique values (unique count equals group size)
if all(unique_counts == df.groupby(timestamp_col).size()):
unique_features.append(col)

return unique_features


Подробнее здесь: https://stackoverflow.com/questions/791 ... -dataframe
Ответить

Быстрый ответ

Изменение регистра текста: 
Смайлики
:) :( :oops: :roll: :wink: :muza: :clever: :sorry: :angel: :read: *x)
Ещё смайлики…
   
К этому ответу прикреплено по крайней мере одно вложение.

Если вы не хотите добавлять вложения, оставьте поля пустыми.

Максимально разрешённый размер вложения: 15 МБ.

Вернуться в «Python»