Sisällysluettelo:

Voinko ajaa kipinää paikallisesti?
Voinko ajaa kipinää paikallisesti?

Video: Voinko ajaa kipinää paikallisesti?

Video: Voinko ajaa kipinää paikallisesti?
Video: Lonely (short version) 2024, Saattaa
Anonim

Spark can olla juosta käyttämällä sisäänrakennettua itsenäistä klusterin ajastinta sovelluksessa paikallinen -tilassa. Tämä tarkoittaa, että kaikki Kipinä prosessit ovat juosta samassa JVM-tehokkaasti, yksi, monisäikeinen esiintymä Kipinä.

Miten Apache sparkin käynnistetään paikallisesti?

Seuraavat vaiheet osoittavat, kuinka Apache Spark asennetaan

  1. Vaihe 1: Java-asennuksen tarkistaminen.
  2. Vaihe 2: Scalan asennuksen tarkistaminen.
  3. Vaihe 3: Lataa Scala.
  4. Vaihe 4: Scalan asentaminen.
  5. Vaihe 5: Lataa Apache Spark.
  6. Vaihe 6: Asenna Spark.
  7. Vaihe 7: Spark-asennuksen tarkistaminen.

Lisäksi voimmeko käynnistää kipinän ilman Hadoopia? Kuten Kipinä dokumentointi, Spark voi toimia ilman Hadoopia . Sinä saattaa ajaa sitä itsenäisenä tilana ilman mikä tahansa resurssipäällikkö. Mutta jos sinä haluta juosta usean solmun asetuksissa, sinä tarvitset resurssienhallinnan, kuten YARN tai Mesos, ja hajautetun tiedostojärjestelmän, kuten HDFS , S3 jne. Kyllä, kipinä voi toimia ilman hadoopia.

Yllä olevan lisäksi, kuinka käynnistän kipinän itsenäisessä tilassa?

Asentaa Spark Standalone -tila , asetat vain käännetyn version Kipinä klusterin jokaisessa solmussa. Voit hankkia valmiita versioita Kipinä jokaisen julkaisun yhteydessä tai rakentaa se itse.

Voiko spark toimia Windowsissa?

A Kipinä sovellus voi olla a Windows -shell-skripti tai se voi olla mukautettu ohjelma kirjoitetulla Java-, Scala-, Python- tai R-kielellä. Tarvitset Windows järjestelmääsi asennetut suoritettavat tiedostot juosta näitä sovelluksia.

Suositeltava: