Как воспроизвести хеш-функцию Spark с помощью Python?Python

Программы на Python
Ответить
Anonymous
 Как воспроизвести хеш-функцию Spark с помощью Python?

Сообщение Anonymous »

Spark использует алгоритм Murmur3 для вычисления хеш-значения. Я пытался использовать этот пакет mmh3 на основе Python для создания хеша, но он выдает другое хеш-значение, чем Spark.
Я читал много вопросов об алгоритме хеширования Spark, но все равно не знаю. не знаю, как получить такое же значение хеш-функции в чистом Python.
  • Какой алгоритм хеширования используется в pyspark.sql.functions.hash?
  • Хеш-функция в spark
  • Библиотека Scala MurmurHash3 не соответствует функции Spark Hash


Подробнее здесь: https://stackoverflow.com/questions/767 ... ing-python
Ответить

Быстрый ответ

Изменение регистра текста: 
Смайлики
:) :( :oops: :roll: :wink: :muza: :clever: :sorry: :angel: :read: *x)
Ещё смайлики…
   
К этому ответу прикреплено по крайней мере одно вложение.

Если вы не хотите добавлять вложения, оставьте поля пустыми.

Максимально разрешённый размер вложения: 15 МБ.

Вернуться в «Python»