Мне было поручено отлаживать долгосрочный сценарий Python в Prod. Проблема здесь в том, что в сценарии нет команд печати или отладки. Хотел проверить, есть ли внутренняя регистрация, которую поддерживает Python, где он отслеживает, какую команду в настоящее время выполняется. < /p>
e.g.
Мой текущий сценарий ниже. Здесь местоположение имеет огромные файлы, и процесс работает для каждого файла. Этот сценарий работает в течение последних 14 часов, и я не могу найти, какая команда работает в настоящее время. Таким образом, любой внутренний журнал Python, в котором сохраняется в настоящее время выполненная команда, будет полезен здесь. Мне просто нужна помощь в каталоге файлов журнала или как найти такой каталог файлов журнала. < /p>
...
# Read data
for fname in glob('*'):
df = pd.read_csv(fname,header=None,sep=',')
#here needs to modify the trigger feature every time
df.columns = [colnames]
df = df[df.cps_count>0].replace(r'\s+',np.nan,regex=True).replace('\\N',np.nan)
# df = df[df.cps_count>0].replace(r'\s+',np.nan,regex=True).replace('\\N',np.nan)
df = pd.get_dummies(df,columns=['prim_ppt']).fillna(np.nan)
cols_obj = df.columns[df.dtypes.eq('object')]
df[cols_obj] = df[cols_obj].apply(pd.to_numeric, errors='coerce')
#this = pd.concat([ids.reset_index()for i in np.setdiff1d(cols,df.columns):df = 0,pd.DataFrame(scores)],axis=1)
xref_ids = df['cust_xref_id']
for i in np.setdiff1d(cols,df.columns):df = 0
#xre_id needs to be replaced
#feature_importance also needs to be replaced
feature_importance = model.predict(xgb.DMatrix(df[],df['res'],missing=np.nan),pred_contribs=True)
combined=np.c_[feature_importance,xref_ids]
df_result=pd.DataFrame(combined,columns=cols+['bias_term','cust_xref_id'])
dfs.append(df_result)
final= pd.concat(dfs,axis=0)
#need to adjust for every model
df_result2=final[[colnames]]
#need to adjust for every model
df_rank=df_result2[[]].rank(axis=1,method='first',numeric_only=None,na_option='keep',ascending=False,pct=False)
df_rank['cust_xref_id']=df_result2['cust_xref_id']
#drop the null cust_xref_id
df_rank=df_rank[df_rank['cust_xref_id'].notnull()]
df_rank['cust_xref_id']=df_rank['cust_xref_id'].astype('int')
#Data transformation
#transform from wide to long type
df_final=pd.melt(df_rank,id_vars=['cust_xref_id'],value_vars=[])
df_final = df_final.sort_values(by=["cust_xref_id", "variable"])
#Note: output file has to be tab seperated -- according to Sahil from CSP core team
if not os.path.exists(''):
os.makedirs('
Подробнее здесь: https://stackoverflow.com/questions/551 ... hon-script
Как идентифицировать команду запуска в сценарии Python ⇐ Python
-
- Похожие темы
- Ответы
- Просмотры
- Последнее сообщение