Я работаю над проектом, который включает в себя RandomWalk на большом графике (слишком большом, чтобы поместиться в памяти). Я написал его на Python, используя networkx, но вскоре граф стал слишком большим, чтобы поместиться в памяти, и я понял, что мне нужно переключиться на распределенную систему. Итак, я понимаю следующее:
Мне нужно будет использовать графовую базу данных как таковую (Titan, neo4j и т.д.)
Среда обработки графов, такая как Apache Giraph на Hadoop/graphx на Spark.
Во-первых< /strong>, достаточно ли API, чтобы я мог продолжать писать код на Python, или мне следует переключиться на Java?
Во-вторых, я не смог найти точную документацию о том, как написать свою собственную функцию обхода (в Giraph или Graphx). для реализации алгоритма случайного блуждания.
Я работаю над проектом, который включает в себя RandomWalk на большом графике (слишком большом, чтобы поместиться в памяти). Я написал его на Python, используя networkx, но вскоре граф стал слишком большим, чтобы поместиться в памяти, и я понял, что мне нужно переключиться на распределенную систему. Итак, я понимаю следующее:
[list] [*]Мне нужно будет использовать графовую базу данных как таковую (Titan, neo4j и т.д.) [*]Среда обработки графов, такая как Apache Giraph на Hadoop/graphx на Spark. [/list]
[b]Во-первых< /strong>, достаточно ли API, чтобы я мог продолжать писать код на Python, или мне следует переключиться на Java?
Во-вторых[/b], я не смог найти точную документацию о том, как написать свою собственную функцию обхода (в Giraph или Graphx). для реализации алгоритма случайного блуждания.
Я пытаюсь имитировать файловую систему Hadoop в своем тесте Scala. Есть идеи, как это обойти:
import java.net.URI
import org.apache.hadoop.conf.Configuration
import org.apache.hadoop.fs.FileSystem
import org.junit.Test
import...
Я пытаюсь имитировать файловую систему Hadoop в своем тесте Scala. Есть идеи, как это обойти:
import java.net.URI
import org.apache.hadoop.conf.Configuration
import org.apache.hadoop.fs.FileSystem
import org.junit.Test
import...
Я столкнулся с проблемами совместимости, связанными с работой delta-spark с S3 прямо из коробки, и хотел получить совет. Я пробовал десятки комбинаций версий между Spark, delta-spark, Hadoop-aws и aws-java-sdk-bundle, но продолжал получать некоторые...
Я пытаюсь создать безмасштабную модель роста сети в networkx на Python. На Github существует множество ресурсов по модели Барабасси-Альберта, но мой график должен быть направленным, а BA предназначен только для неориентированных графов.
Я понимаю,...
Здесь, в моем университете, разработали Java-приложение для визуализации графиков и управления ими, что-то похожее на GUESS, но с другими возможностями. веб-сайт, на котором размещен проект, —graphlab.sharif.edu, но сервер в данный момент не...
Мобильная версия