Sisällysluettelo:

Kuinka käynnistän spark History -palvelimeni?
Kuinka käynnistän spark History -palvelimeni?

Video: Kuinka käynnistän spark History -palvelimeni?

Video: Kuinka käynnistän spark History -palvelimeni?
Video: НЕ ВЗДУМАЙ снимать аккумулятор с машины. Делай это ПРАВИЛЬНО ! 2024, Huhtikuu
Anonim

Spark-historiapalvelimen käyttöönotto:

  1. Luo hakemisto tapahtumalokeille DSEFS-tiedostojärjestelmään: dse hadoop fs -mkdir /spark $ dse hadoop fs -mkdir /spark/events.
  2. Kun tapahtumaloki on käytössä, oletusarvoisesti kaikki lokit tallennetaan, mikä saa tallennustilan kasvamaan ajan myötä.

Tämän lisäksi, kuinka määritän kipinähistoriapalvelimen?

Spark-historiapalvelimen käyttöönotto:

  1. Luo hakemisto tapahtumalokeille DSEFS-tiedostojärjestelmään: dse hadoop fs -mkdir /spark $ dse hadoop fs -mkdir /spark/events.
  2. Kun tapahtumaloki on käytössä, oletusarvoisesti kaikki lokit tallennetaan, mikä saa tallennustilan kasvamaan ajan myötä.

Samoin kuinka löydän kipinähistoriapalvelimeni URL-osoitteen? Esimerkiksi varten historiapalvelin , ne ovat yleensä saatavilla osoitteessa palvelin - url >:18080/api/v1 ja käynnissä olevalle sovellukselle osoitteessa https://localhost:4040/api/v1. API:ssa sovellukseen viitataan sen sovellustunnuksella [app-id].

Samoin mikä on spark History -palvelin?

The Spark historiapalvelin on seurantatyökalu, joka näyttää tiedot valmistuneista Kipinä sovellukset. Tämä informaatio On vedetään tiedoista, jotka sovellukset kirjoittavat oletusarvoisesti Hadoop Distributed File System (HDFS) -hakemistoon.

Mikä on Sparkui?

Spark Web UI mahdollistaa luettelon aikataulun vaiheista ja tehtävistä, ympäristötiedoista, käynnissä olevista toteuttajista ja paljon muuta. Katso tämä 30 minuutin esittely saadaksesi lisätietoja: Spark-ohjelman komponenteista ja elinkaaresta. Kuinka Spark-sovelluksesi toimii Hadoop-klusterissa.

Suositeltava: