Я безуспешно пытался запустить приведенную ниже программу из-за ошибки Traceback, которую я не понимаю, поскольку функция четко определена. Любые предложения очень ценятся. Я использую Windows10, Jupyter Notebook, Python3. Надеюсь, этой информации достаточно, чтобы дать некоторые подсказки.
"""
Multi processing in Python, threading
"""
import pandas as pd
import timeit, sys
import numpy as np
import multiprocess as mp
df = pd.read_csv("C:/files/data.csv", encoding="UTF-8")
df['start-digits'] = None
startTime = timeit.default_timer()
def strip_digits(x):
return str(x)[:4]
def zip_handler(x):
x['start-digits'] = x['Zip Codes'].apply(strip_digits)
return x
def parallelize(dataframe, func):
dataframe_split = np.array_split(dataframe, partitions)
pool = mp.Pool(cores)
dataframe_return = pd.concat(pool.map(func, dataframe_split), ignore_index=True)
pool.close()
return dataframe_return
if __name__ == '__main__':
#mp.set_start_method('spawn')
cores = mp.cpu_count()
partitions = cores
df = parallelize(df, zip_handler)
group_dataframe = df.groupby(['Zip Codes'])
size_of_group = group_dataframe.size()
print(size_of_group)
print(group_dataframe.get_group(2443))
stopTime = timeit.default_timer() - startTime
round_time = round(stopTime, 6)
print('')
print(round_time/60, 'min handle time')
print('cpu threads', cores)
print('split size', partitions)
RemoteTraceback Traceback (most recent call last)
RemoteTraceback:
"""
Traceback (most recent call last):
File "C:\Users\trevo\anaconda3\lib\site-packages\multiprocess\pool.py", line 125, in worker
result = (True, func(*args, **kwds))
File "C:\Users\trevo\anaconda3\lib\site-packages\multiprocess\pool.py", line 48, in mapstar
return list(map(*args))
File "", line 20, in zip_handler
NameError: name 'strip_digits' is not defined
"""
The above exception was the direct cause of the following exception:
NameError Traceback (most recent call last)
in
35 partitions = cores
36
---> 37 df = parallelize(df, zip_handler)
38
39 group_dataframe = df.groupby(['Zip Codes'])
in parallelize(dataframe, func)
24 dataframe_split = np.array_split(dataframe, partitions)
25 pool = mp.Pool(cores)
---> 26 dataframe_return = pd.concat(pool.map(func, dataframe_split), ignore_index=True)
27 pool.close()
28
~\anaconda3\lib\site-packages\multiprocess\pool.py in map(self, func, iterable, chunksize)
362 in a list that is returned.
363 '''
--> 364 return self._map_async(func, iterable, mapstar, chunksize).get()
365
366 def starmap(self, func, iterable, chunksize=None):
~\anaconda3\lib\site-packages\multiprocess\pool.py in get(self, timeout)
769 return self._value
770 else:
--> 771 raise self._value
772
773 def _set(self, i, obj):
NameError: name 'strip_digits' is not defined
Подробнее здесь: https://stackoverflow.com/questions/667 ... -call-last
NameError Traceback (самый последний вызов — последний) ⇐ Python
Программы на Python
-
Anonymous
1761973705
Anonymous
Я безуспешно пытался запустить приведенную ниже программу из-за ошибки Traceback, которую я не понимаю, поскольку функция четко определена. Любые предложения очень ценятся. Я использую Windows10, Jupyter Notebook, Python3. Надеюсь, этой информации достаточно, чтобы дать некоторые подсказки.
"""
Multi processing in Python, threading
"""
import pandas as pd
import timeit, sys
import numpy as np
import multiprocess as mp
df = pd.read_csv("C:/files/data.csv", encoding="UTF-8")
df['start-digits'] = None
startTime = timeit.default_timer()
def strip_digits(x):
return str(x)[:4]
def zip_handler(x):
x['start-digits'] = x['Zip Codes'].apply(strip_digits)
return x
def parallelize(dataframe, func):
dataframe_split = np.array_split(dataframe, partitions)
pool = mp.Pool(cores)
dataframe_return = pd.concat(pool.map(func, dataframe_split), ignore_index=True)
pool.close()
return dataframe_return
if __name__ == '__main__':
#mp.set_start_method('spawn')
cores = mp.cpu_count()
partitions = cores
df = parallelize(df, zip_handler)
group_dataframe = df.groupby(['Zip Codes'])
size_of_group = group_dataframe.size()
print(size_of_group)
print(group_dataframe.get_group(2443))
stopTime = timeit.default_timer() - startTime
round_time = round(stopTime, 6)
print('')
print(round_time/60, 'min handle time')
print('cpu threads', cores)
print('split size', partitions)
RemoteTraceback Traceback (most recent call last)
RemoteTraceback:
"""
Traceback (most recent call last):
File "C:\Users\trevo\anaconda3\lib\site-packages\multiprocess\pool.py", line 125, in worker
result = (True, func(*args, **kwds))
File "C:\Users\trevo\anaconda3\lib\site-packages\multiprocess\pool.py", line 48, in mapstar
return list(map(*args))
File "", line 20, in zip_handler
NameError: name 'strip_digits' is not defined
"""
The above exception was the direct cause of the following exception:
NameError Traceback (most recent call last)
in
35 partitions = cores
36
---> 37 df = parallelize(df, zip_handler)
38
39 group_dataframe = df.groupby(['Zip Codes'])
in parallelize(dataframe, func)
24 dataframe_split = np.array_split(dataframe, partitions)
25 pool = mp.Pool(cores)
---> 26 dataframe_return = pd.concat(pool.map(func, dataframe_split), ignore_index=True)
27 pool.close()
28
~\anaconda3\lib\site-packages\multiprocess\pool.py in map(self, func, iterable, chunksize)
362 in a list that is returned.
363 '''
--> 364 return self._map_async(func, iterable, mapstar, chunksize).get()
365
366 def starmap(self, func, iterable, chunksize=None):
~\anaconda3\lib\site-packages\multiprocess\pool.py in get(self, timeout)
769 return self._value
770 else:
--> 771 raise self._value
772
773 def _set(self, i, obj):
NameError: name 'strip_digits' is not defined
Подробнее здесь: [url]https://stackoverflow.com/questions/66704181/nameerror-traceback-most-recent-call-last[/url]
Ответить
1 сообщение
• Страница 1 из 1
Перейти
- Кемерово-IT
- ↳ Javascript
- ↳ C#
- ↳ JAVA
- ↳ Elasticsearch aggregation
- ↳ Python
- ↳ Php
- ↳ Android
- ↳ Html
- ↳ Jquery
- ↳ C++
- ↳ IOS
- ↳ CSS
- ↳ Excel
- ↳ Linux
- ↳ Apache
- ↳ MySql
- Детский мир
- Для души
- ↳ Музыкальные инструменты даром
- ↳ Печатная продукция даром
- Внешняя красота и здоровье
- ↳ Одежда и обувь для взрослых даром
- ↳ Товары для здоровья
- ↳ Физкультура и спорт
- Техника - даром!
- ↳ Автомобилистам
- ↳ Компьютерная техника
- ↳ Плиты: газовые и электрические
- ↳ Холодильники
- ↳ Стиральные машины
- ↳ Телевизоры
- ↳ Телефоны, смартфоны, плашеты
- ↳ Швейные машинки
- ↳ Прочая электроника и техника
- ↳ Фототехника
- Ремонт и интерьер
- ↳ Стройматериалы, инструмент
- ↳ Мебель и предметы интерьера даром
- ↳ Cантехника
- Другие темы
- ↳ Разное даром
- ↳ Давай меняться!
- ↳ Отдам\возьму за копеечку
- ↳ Работа и подработка в Кемерове
- ↳ Давай с тобой поговорим...
Мобильная версия