У меня есть набор сетевых данных, и мне кажется, что данные поступают из разных каналов. Таким образом, одна и та же временная метка повторяется для разных строк, что делает бессмысленным анализ временных рядов.
Моя цель — найти способ извлечь только одни конкретные данные потока/канала и выполнить анализ временных рядов только для этих данных.
Идентификатора потока/канала нет, поэтому среди 80 функций Я хочу проверить, есть ли столбец, который может действовать как идентификатор для поток.
Поэтому мне нужно сгруппировать по временной метке, проверить, есть ли столбец, который не повторяется в группе, например, функция1, и имеет ли этот объект1 такое же свойство в все остальные группы, то есть он не повторяется внутри группы временных меток.
Я написал этот код, но он дает неправильные результаты.
импортировать панды как pd
def find_unique_features(df, timestamp_col='Timestamp', ignore_features=None):
# Set default excluded features if none provided
if exclude_features is None:
exclude_features = ['Label','Flow Duration'] # flow duration and label is known to be non-unique
# Initialize a list to hold the names of unique features
unique_features = []
# Loop through each column in the DataFrame, excluding timestamp and specified features
for col in df.columns:
if col == timestamp_col or col in exclude_features:
continue
# Group by timestamp and count unique values in the column for each timestamp group
unique_counts = df.groupby(timestamp_col)[col].nunique()
print(f"In column '{col}', there are {unique_counts} unique values for the timestamp group.") # Check if all groups have unique values (unique count equals group size)
if all(unique_counts == df.groupby(timestamp_col).size()):
unique_features.append(col)
return unique_features
Подробнее здесь: https://stackoverflow.com/questions/791 ... -dataframe
Поиск уникальных функций во всех группах в кадре данных ⇐ Python
Программы на Python
-
Anonymous
1731610593
Anonymous
У меня есть набор сетевых данных, и мне кажется, что данные поступают из разных каналов. Таким образом, одна и та же временная метка повторяется для разных строк, что делает бессмысленным анализ временных рядов.
Моя цель — найти способ извлечь только одни конкретные данные потока/канала и выполнить анализ временных рядов только для этих данных.
Идентификатора потока/канала нет, поэтому среди 80 функций Я хочу проверить, есть ли столбец, который может действовать как идентификатор для поток.
Поэтому мне нужно сгруппировать по временной метке, проверить, есть ли столбец, который не повторяется в группе, например, функция1, и имеет ли этот объект1 такое же свойство в все остальные группы, то есть он не повторяется внутри группы временных меток.
Я написал этот код, но он дает неправильные результаты.
импортировать панды как pd
def find_unique_features(df, timestamp_col='Timestamp', ignore_features=None):
# Set default excluded features if none provided
if exclude_features is None:
exclude_features = ['Label','Flow Duration'] # flow duration and label is known to be non-unique
# Initialize a list to hold the names of unique features
unique_features = []
# Loop through each column in the DataFrame, excluding timestamp and specified features
for col in df.columns:
if col == timestamp_col or col in exclude_features:
continue
# Group by timestamp and count unique values in the column for each timestamp group
unique_counts = df.groupby(timestamp_col)[col].nunique()
print(f"In column '{col}', there are {unique_counts} unique values for the timestamp group.") # Check if all groups have unique values (unique count equals group size)
if all(unique_counts == df.groupby(timestamp_col).size()):
unique_features.append(col)
return unique_features
Подробнее здесь: [url]https://stackoverflow.com/questions/79190103/finding-unique-features-across-all-groups-in-a-dataframe[/url]
Ответить
1 сообщение
• Страница 1 из 1
Перейти
- Кемерово-IT
- ↳ Javascript
- ↳ C#
- ↳ JAVA
- ↳ Elasticsearch aggregation
- ↳ Python
- ↳ Php
- ↳ Android
- ↳ Html
- ↳ Jquery
- ↳ C++
- ↳ IOS
- ↳ CSS
- ↳ Excel
- ↳ Linux
- ↳ Apache
- ↳ MySql
- Детский мир
- Для души
- ↳ Музыкальные инструменты даром
- ↳ Печатная продукция даром
- Внешняя красота и здоровье
- ↳ Одежда и обувь для взрослых даром
- ↳ Товары для здоровья
- ↳ Физкультура и спорт
- Техника - даром!
- ↳ Автомобилистам
- ↳ Компьютерная техника
- ↳ Плиты: газовые и электрические
- ↳ Холодильники
- ↳ Стиральные машины
- ↳ Телевизоры
- ↳ Телефоны, смартфоны, плашеты
- ↳ Швейные машинки
- ↳ Прочая электроника и техника
- ↳ Фототехника
- Ремонт и интерьер
- ↳ Стройматериалы, инструмент
- ↳ Мебель и предметы интерьера даром
- ↳ Cантехника
- Другие темы
- ↳ Разное даром
- ↳ Давай меняться!
- ↳ Отдам\возьму за копеечку
- ↳ Работа и подработка в Кемерове
- ↳ Давай с тобой поговорим...
Мобильная версия