Преобразование координат восточного и северного направления в широту и долготу в Scala/Spark с помощью преобразования ко ⇐ Python

[Anonymous]

Я работаю над проектом в Scala и Apache Spark, где мне нужно преобразовать координаты из восточного/северного направления (EPSG:27700) в широту/долготу (EPSG:4326). У меня есть сценарий Python, который использует встроенные библиотеки pyproj (трансформер) для решения этой проблемы, но я не нашел эквивалентного способа сделать это в Scala/Spark.
Вот код Python, который я сейчас использую:

Код: Выделить всё

    from pyproj import Transformer
import pandas as pd

data = {
'node_id': ['94489', '94555', '94806', '99118', '76202'],
'easting': [276164, 428790, 357501, 439545, 357353],
'northing': [84185, 92790, 173246, 336877, 170708]
}

df = pd.DataFrame(data)
transformer = Transformer.from_crs("epsg:27700", "epsg:4326")
lat, lon = transformer.transform(df['easting'].values, df['northing'].values)
df['longitude'] = lon
df['latitude'] = lat
print(df)

Выходной DataFrame должен выглядеть следующим образом:

Код: Выделить всё

| node_id | easting | northing | longitude  | latitude  |

Код: Выделить всё

| ------- | ------- | -------- | ---------- | --------- |

Код: Выделить всё

| 94489   | 276164  | 84185    | -3.752811  | 50.644154 |

Код: Выделить всё

| 94555   | 428790  | 92790    | -1.593413  | 50.734016 |

Код: Выделить всё

| 94806   | 357501  | 173246   | -2.613059  | 51.456587 |

Код: Выделить всё

| 99118   | 439545  | 336877   | -1.413188  | 52.927852 |

Код: Выделить всё

| 76202   | 357353  | 170708   | -2.614883  | 51.433757 |

Подробнее здесь: https://stackoverflow.com/questions/791 ... a-spark-wi