Невидимые или утроенные :) столбцы при чтении нескольких файлов ⇐ Python

[Anonymous]

Итак, я читаю несколько файлов (точно 30). Некоторые из них имеют одинаковые столбцы, некоторые — разные.

Код: Выделить всё

mycsvdir = r'C:\t\...\dict_full'

csvfiles = glob.glob(os.path.join(mycsvdir, '*.csv'))

dataframes = []
for csvfile in csvfiles:
df = pd.read_csv(csvfile, encoding='UTF-16 LE', sep='\t') #, usecols=["event_rus", "event_category", "event_action"])
dataframes.append(df)

result = pd.concat(dataframes, ignore_index=True)

result.head()

С этим кодом я получаю

Код: Выделить всё

RangeIndex: 877 entries, 0 to 876
Data columns (total 51 columns):

очень! странный! дф: )
result.columns = result.columns.str.replace(r' | |\s|\xa0|\-|depreciated', '', regex=True).str.lower()
result.columns = result.columns.str.strip().str.replace(r' ', '')

result['event_action'] = result[['eventaction', 'eventactiondeprecated']].apply(lambda row: row.dropna().iloc[0] if not row.dropna().empty else None, axis=1)
result['event_category'] = result[['eventcategory', 'eventcategorydeprecated']].apply(lambda row: row.dropna().iloc[0] if not row.dropna().empty else None, axis=1)
result['event_label'] = result[['eventlabel', 'propertyeventlabel', 'eventlabel']].apply(lambda row: row.dropna().iloc[0] if not row.dropna().empty else None, axis=1)
...
< /code>
После этого я сбросил или объединил не полезные столбцы, но у меня все еще есть дубликаты столбцов.

Мой разум поражен))

Последнее, что я хочу, - это объединить два столбца с информацией (и я знаю, как это сделать, я уже пытался и был успешным) , но я хотел бы выяснить, почему все вышеперечисленное происходит и как получить обычный df.
Может быть, необходимы типы DF.

Подробнее здесь: https://stackoverflow.com/questions/793 ... iple-files