Hvilken version af Python bruger spark?
Hvilken version af Python bruger spark?

Video: Hvilken version af Python bruger spark?

Video: Hvilken version af Python bruger spark?
Video: How To Install Python Libraries In Visual Studio Code (Windows 11) 2024, November
Anonim

Gnist kører på Java 8+, Python 2,7+/3,4+ og R 3,1+. For Scala API, Gnist 2.3. 0 bruger Scala 2.11. Det bliver du nødt til brug en kompatibel Scala version (2.11.

Virker spark tilsvarende med Python 3?

Apache Gnist er en cluster computing-ramme, som i øjeblikket er en af de mest aktivt udviklede i open source Big Data-arenaen. Siden den seneste version 1.4 (juni 2015), Gnist understøtter R og Python 3 (for at supplere den tidligere tilgængelige support til Java, Scala og Python 2).

Udover ovenstående, hvordan ændrer jeg sparkversionen af Python? Hvis du kun vil lave om det python version til den aktuelle opgave kan du bruge følgende pyspark startkommando: PYSPARK_DRIVER_PYTHON=/home/user1/anaconda2/bin/ python PYSPARK_PYTHON=/usr/local/anaconda2/bin/ python pyspark --master..

Desuden, hvad er den seneste spark-version?

Apache Spark

Original forfatter(e) Matei Zaharia
Første udgivelse 26. maj 2014
Stabil udgivelse 2.4.5 / 8. februar 2020
Depot Spark Repository
Skrevet i Scala

Hvad er spark Python?

Tæmme Big Data med Apache Gnist og Python Py4J er et populært integreret bibliotek PySpark der tillader python interface dynamisk med JVM-objekter (RDD'er). Apache Gnist leveres med en interaktiv skal til python som det gør for Scala. Skallen til python er kendt som PySpark ”.

Anbefalede: