Масштабирование функции Nearest_edges библиотеки OSMNX на огромном наборе данных Spark ⇐ Python

[Anonymous]

Я пытаюсь масштабировать значение расстояния, возвращаемое функцией «ближайшие_грани» (из библиотеки OSMNX) в огромном наборе данных, используя столбцы широты и долготы в качестве входных данных для создания моего мутлидиграфа. Запуск занимает вечность и иногда возвращает ноль. Есть ли другое решение? Я создал пользовательскую функцию (код ниже), чтобы можно было применить эту функцию к набору данных, используя длинные столбцы этого набора данных.
Мой код ниже:
import osmnx as ox
@udf(returnType=T.DoubleType())
def get_distance_to_road (lat_dd=None,long_dd=None,dist_bbox=None):
try:
location = (lat_dd,long_dd)

G = ox.graph_from_point(
center_point=location,
dist=dist_bbox, #meter
simplify=True,
retain_all=True,
truncate_by_edge=True,
network_type='all'
)

Gp = ox.project_graph(G)
point_geom_proj, crs = ox.projection.project_geometry(Point(reversed(location)), to_crs=Gp.graph['crs'])
distance = np.round(ox.nearest_edges(Gp, point_geom_proj.x, point_geom_proj.y, return_dist=True)[1],2).item()

except Exception:
distance = None
return distance #meter


Подробнее здесь: https://stackoverflow.com/questions/790 ... rk-dataset