Sisällysluettelo:

Mistä löydän kipinälokit?
Mistä löydän kipinälokit?

Video: Mistä löydän kipinälokit?

Video: Mistä löydän kipinälokit?
Video: Kipinä hukassa? Tässä pari vinkkiä kuinka löytää vika. (Mopo) 2024, Marraskuu
Anonim

Hirsi hakemistoja

SPARK_WORKER_LOG_DIR-oletussijainti on /var/ Hirsi / kipinä /työntekijä. Oletusarvo Hirsi hakemiston käynnistämistä varten Kipinä SQL Thrift -palvelin on $HOME/ kipinä - säästävä palvelin. Kipinä Kuori ja sovellus lokit lähetetään konsoliin. Hirsi määritystiedostot sijaitsevat samassa hakemistossa kuin kipinä -env.sh.

Miten saan tämän suhteen kipinälokit?

Kipinä Työ tai hakemus Analysoi-sivulta, pääset lokit Sovelluskäyttöliittymän kautta ja Kipinä Sovelluksen käyttöliittymä. -sivulle pääset lokit kautta Kipinä Sovelluksen käyttöliittymä. Voit myös lisätä lokit tunnistaa virheet ja poikkeukset Kipinä työn tai sovelluksen epäonnistumisia.

Samoin, kuinka tarkistat lankalokit? Katsomassa a Hirsi tiedosto The lokit sovellusmaskin voi myös tarkastella selaimessa resurssienhallinnan käyttöliittymässä osoitteessa lanka .resourcemanager.webapp.address}/cluster (https://localhost:8088 yhdessä solmun "klusterissa").

Samalla tavalla voidaan kysyä, kuinka saan toimeenpanolokit Sparkiin?

Vastaus

  1. Ohjeet Spark executor -lokien hankkimiseen:
  2. Amabari -- 1) Siirry Spark Service -palveluun ja Configs-välilehteen: 2) Etsi "Advanced spark-log4j-properties" -merkintä.
  3. Clouderalle -- Aseta: spark.executor.extraJavaOptions=-Dlog4j.configuration=file:/etc/spark/conf.cloudera.spark_on_yarn/log4j.properties.

Kuinka löydän spark History -palvelimeni URL-osoitteen?

Esimerkiksi varten historiapalvelin , ne ovat yleensä saatavilla osoitteessa palvelin - url >:18080/api/v1 ja käynnissä olevalle sovellukselle osoitteessa https://localhost:4040/api/v1. API:ssa sovellukseen viitataan sen sovellustunnuksella [app-id].

Suositeltava: