Как эффективно отфильтровать конкретные значения из набора данных и группировать эти фильтрованные значения на основе их ⇐ Python

[Anonymous]

У меня есть большой набор данных (5M+ записи) преступлений в Нью -Йорке. Я хочу выбрать 5 преступлений из столбца «ofns_desc» и группировать преступления в соответствии с количеством случаев в течение месяца, чтобы я мог построить временной ряд более эффективным способом. Проблема в том, что для вычисления требуется довольно много времени, потому что для каждого значения он проходит весь набор данных и делает то же самое для группировки. Я хочу сделать этот процесс более эффективным < /p>
# convert ARREST_DATE format to YYYY/MM
arrest_ym = df["ARREST_DATE"].dt.to_period('M')

# filter out crime types
dngr_drug = df[df["OFNS_DESC"] == "DANGEROUS DRUGS"]
aslt3 = df[df["OFNS_DESC"] == "ASSAULT 3 & RELATED OFFENSES"]
pt_lrcy = df[df["OFNS_DESC"] == "PETIT LARCENY"]
flny_aslt = df[df["OFNS_DESC"] == "FELONY ASSAULT"]
dngr_wpns = df[df["OFNS_DESC"] == "DANGEROUS WEAPONS"]

# group and count
dngr_drug_gc = dngr_drug.groupby(arrest_ym)["OFNS_DESC"].count()
aslt3_gc = aslt3.groupby(arrest_ym)["OFNS_DESC"].count()
pt_lrcy_gc = pt_lrcy.groupby(arrest_ym)["OFNS_DESC"].count()
flny_aslt_gc = flny_aslt.groupby(arrest_ym)["OFNS_DESC"].count()
dngr_wpns_gc = dngr_wpns.groupby(arrest_ym)["OFNS_DESC"].count()
< /code>
Ниже приведен код для моего сюжета. Я считаю, что это будет затронуто на основе изменений, внесенных в вышеизложенное. < /P>
# multi-line plot
x_labels = dngr_drug_gc.index.astype(str)

plt.figure(figsize = (20, 10))
plt.plot(dngr_drug_gc.index.astype(str), dngr_drug_gc.values, 'b-', label = "Dangerous Drugs")
plt.plot(aslt3_gc.index.astype(str), aslt3_gc.values, 'g-', label = "Assault 3 & Related Offenses")
plt.plot(pt_lrcy_gc.index.astype(str), pt_lrcy_gc.values, 'r-', label = "Petit Larceny")
plt.plot(flny_aslt_gc.index.astype(str), flny_aslt_gc.values, 'c-', label = "Felony Assault")
plt.plot(dngr_wpns_gc.index.astype(str), dngr_wpns_gc.values, 'm-', label = "Dangerous Weapons")

plt.xticks(x_labels[::6], rotation=45)

plt.xlabel("Month")
plt.ylabel("Crime Count")
plt.title("Monthly Crime Frequency")
plt.legend(loc = "best")
< /code>
Мои результаты в порядке, но я просто хочу оптимизировать код. Один из способов, которым я увидел, - это сделать код ниже, но я не знаю, как оттуда. < /P>
crime_select = ["DANGEROUS DRUGS", "ASSAULT 3 & RELATED OFFENSES", "PETIT LARCENY", "FELONY ASSAULT", "DANGEROUS WEAPONS"]
filtered_crime = df[df["OFNS_DESC"].isin(crime_select)]
< /code>
Пожалуйста, имейте в виду, что я абсолютно новичок в кодировании, чтобы любые объяснения были бы очень полезными. Спасибо.
График результатов

Подробнее здесь: https://stackoverflow.com/questions/795 ... se-filtere