Группировка Python DataFrame преобразует NaN в None, чтобы сгенерировать действительный JSON. ⇐ Python

[Anonymous]

Я получаю несколько JSON, которые мне нужно преобразовать и объединить, что я делаю с пандами, а затем мне также нужно сгенерировать JSON.
Структура окончательного JSON фиксирована.
иногда некоторые поля в JSON отсутствуют (и это правильно), но мне нужно сохранить поля в объединенном объекте, что также работает нормально.
Мне нужно преобразовать все значения NaN в None, чтобы впоследствии получить действительный json с нулевыми значениями, но после операции groupby некоторые значения None преобразуются обратно в NaN.
См. прикрепленный пример:
import pandas as pd
import json
dict1 = {
"items": [
{
"name": "Project1",
"projectId": "1",
},
{
"name": "Project2",
"projectId": "2",
},
{
"name": "Project3",
"projectId": "3",
}
]
}

dict2 = {
"items": [
{
"attr1": "ABC",
"attr2": "DEF1",
"attr3": "GHI1",
"projectId": "1",
"services":[
{
"sname": "Service1",
},
{
"sname": "Service2",
}
]
},
{
"attr1": "ABC",
"attr2": "DEF2",
"attr3": "GHI2",
"projectId": "2",
"services":[
{
"sname": "Service1",
},
{
"sname": "Service2",
}
]
}
]
}

dict_head = {
"id":"some-guid",
"name":"some name",
"content" :[
]
}

df1 = pd.DataFrame(dict1["items"])
# df2 = pd.DataFrame(dict2["items"])
df2 = pd.json_normalize(
data = dict2['items'],
record_path = ['services'],
meta = [
'projectId',
'attr1',
'attr2',
'attr3'
]
)

df_joined = df1.set_index("projectId").join(df2.set_index("projectId"))
print("df_joined_1")
print(df_joined)

#convert all NaN vales to None whichs works well
df_joined= df_joined.where(pd.notnull(df_joined), None)
print("df_joined_2")
print(df_joined)

df_grouped = df_joined.groupby(['projectId','name','attr1','attr2','attr3'], dropna=False)['sname'].apply(list).reset_index().to_dict(orient='records')
#suddenly the None values of the grouped fields are conveted back to NaN???
print("df_grouped:")
print(df_grouped)

df_grouped = [{'type': 'Project', 'id': d['projectId'], 'data': d} for d in df_grouped.to_dict(orient='records')]

dict_head["content"] = df_grouped
print("dict_head:")
print(dict_head)

print("dict_head as json:")
print(json.dumps(dict_head, indent=3))

выходные данные проекта 3, где вы видите как NaN, так и ноль, я ожидаю, что все NaN будут нулевыми значениями
{
"projectId": "3",
"name": "Project3",
"attr1": NaN,
"attr2": NaN,
"attr3": NaN,
"sname": [
null
]
}


Подробнее здесь: https://stackoverflow.com/questions/786 ... valid-json