Как улучшить производительность кода (с помощью Google Translate API) ⇐ Python
-
Anonymous
Как улучшить производительность кода (с помощью Google Translate API)
import time
start = time.time()
import pandas as pd
from deep_translator import GoogleTranslator
data = pd.read_excel(r"latestdata.xlsx")
translatedata = data['column']. fillna('novalue')
list = []
for i in translatedata:
finaldata = GoogleTranslator(source='auto', target='english').translate(i)
print(finaldata)
list.append(finaldata)
df = pd.DataFrame(list, columns=['Translated_values'])
df.to_csv(r"jobdone.csv", sep= ';')
end = time.time()
print(f"Runtime of the program is {end - start}")
У меня есть данные из 220 тысяч точек, и я пытаюсь преобразовать данные столбца. Сначала я попытался использовать параллельную программу метода пула, но получил ошибку, что я не могу получить доступ к API несколько раз одновременно. Мой вопрос: есть ли другой способ улучшить производительность кода, который у меня есть сейчас?
# 4066.826668739319 with just 10000 data all together.
# 3809.4675991535187 computation time when I run in 2 batch's of 5000
Подробнее здесь: https://stackoverflow.com/questions/715 ... nslate-api
import time
start = time.time()
import pandas as pd
from deep_translator import GoogleTranslator
data = pd.read_excel(r"latestdata.xlsx")
translatedata = data['column']. fillna('novalue')
list = []
for i in translatedata:
finaldata = GoogleTranslator(source='auto', target='english').translate(i)
print(finaldata)
list.append(finaldata)
df = pd.DataFrame(list, columns=['Translated_values'])
df.to_csv(r"jobdone.csv", sep= ';')
end = time.time()
print(f"Runtime of the program is {end - start}")
У меня есть данные из 220 тысяч точек, и я пытаюсь преобразовать данные столбца. Сначала я попытался использовать параллельную программу метода пула, но получил ошибку, что я не могу получить доступ к API несколько раз одновременно. Мой вопрос: есть ли другой способ улучшить производительность кода, который у меня есть сейчас?
# 4066.826668739319 with just 10000 data all together.
# 3809.4675991535187 computation time when I run in 2 batch's of 5000
Подробнее здесь: https://stackoverflow.com/questions/715 ... nslate-api
Мобильная версия