Я пытаюсь оценить несколько наборов данных одновременно, используя многопроцессорную обработку. Следующий код зависает при запуске, но когда я запускаю оценку для base_model вне пула, она выполняется мгновенно.
import pandas as pd
import numpy as np
from sklearn.model_selection import train_test_split
titanic = pd.read_csv('titanic.csv')
titanic['Age'].fillna(titanic['Age'].mean(), inplace=True) #fill all missing values with the average
#create indicator for cabin because there is areason it was missing
titanic['Cabin_ind'] = np.where(titanic['Cabin'].isnull(), 0, 1)
#convert sex to numeric
gender_num = {'male': 0, 'female': 1}
titanic['Sex'] = titanic['Sex'].map(gender_num)
#drop uncessary variables
titanic.drop(columns=['Cabin', 'Embarked', 'Name', 'Ticket'], inplace=True)
features = titanic.drop(columns=['Survived'])
labels = titanic['Survived']
X_train, X_test, y_train, y_test = train_test_split(features, labels, test_size=.2, random_state=42)
from xgboost import XGBClassifier
base_model = XGBClassifier(objective='binary:logistic', nthread=4, seed=27, scoring='auc')
base_model.fit(X_train, y_train)
import multiprocessing as mp
def my_func(X_test, y_test, base_model):
val = base_model.score(X_test, y_test)
print(val)
def main():
to_pass = [(X_test, y_test, base_model)]
pool = mp.Pool(1)
pool.starmap(my_func, to_pass)
if __name__ == "__main__":
main()
Подробнее здесь: https://stackoverflow.com/questions/687 ... st-scoring
Многопроцессорность зависает подсчет очков xgboost ⇐ Python
Программы на Python
-
Anonymous
1737137260
Anonymous
Я пытаюсь оценить несколько наборов данных одновременно, используя многопроцессорную обработку. Следующий код зависает при запуске, но когда я запускаю оценку для base_model вне пула, она выполняется мгновенно.
import pandas as pd
import numpy as np
from sklearn.model_selection import train_test_split
titanic = pd.read_csv('titanic.csv')
titanic['Age'].fillna(titanic['Age'].mean(), inplace=True) #fill all missing values with the average
#create indicator for cabin because there is areason it was missing
titanic['Cabin_ind'] = np.where(titanic['Cabin'].isnull(), 0, 1)
#convert sex to numeric
gender_num = {'male': 0, 'female': 1}
titanic['Sex'] = titanic['Sex'].map(gender_num)
#drop uncessary variables
titanic.drop(columns=['Cabin', 'Embarked', 'Name', 'Ticket'], inplace=True)
features = titanic.drop(columns=['Survived'])
labels = titanic['Survived']
X_train, X_test, y_train, y_test = train_test_split(features, labels, test_size=.2, random_state=42)
from xgboost import XGBClassifier
base_model = XGBClassifier(objective='binary:logistic', nthread=4, seed=27, scoring='auc')
base_model.fit(X_train, y_train)
import multiprocessing as mp
def my_func(X_test, y_test, base_model):
val = base_model.score(X_test, y_test)
print(val)
def main():
to_pass = [(X_test, y_test, base_model)]
pool = mp.Pool(1)
pool.starmap(my_func, to_pass)
if __name__ == "__main__":
main()
Подробнее здесь: [url]https://stackoverflow.com/questions/68731496/multiprocessing-hangs-xgboost-scoring[/url]
Ответить
1 сообщение
• Страница 1 из 1
Перейти
- Кемерово-IT
- ↳ Javascript
- ↳ C#
- ↳ JAVA
- ↳ Elasticsearch aggregation
- ↳ Python
- ↳ Php
- ↳ Android
- ↳ Html
- ↳ Jquery
- ↳ C++
- ↳ IOS
- ↳ CSS
- ↳ Excel
- ↳ Linux
- ↳ Apache
- ↳ MySql
- Детский мир
- Для души
- ↳ Музыкальные инструменты даром
- ↳ Печатная продукция даром
- Внешняя красота и здоровье
- ↳ Одежда и обувь для взрослых даром
- ↳ Товары для здоровья
- ↳ Физкультура и спорт
- Техника - даром!
- ↳ Автомобилистам
- ↳ Компьютерная техника
- ↳ Плиты: газовые и электрические
- ↳ Холодильники
- ↳ Стиральные машины
- ↳ Телевизоры
- ↳ Телефоны, смартфоны, плашеты
- ↳ Швейные машинки
- ↳ Прочая электроника и техника
- ↳ Фототехника
- Ремонт и интерьер
- ↳ Стройматериалы, инструмент
- ↳ Мебель и предметы интерьера даром
- ↳ Cантехника
- Другие темы
- ↳ Разное даром
- ↳ Давай меняться!
- ↳ Отдам\возьму за копеечку
- ↳ Работа и подработка в Кемерове
- ↳ Давай с тобой поговорим...
Мобильная версия