Käyttääkö kipinä eläintarhanhoitajaa?
Käyttääkö kipinä eläintarhanhoitajaa?

Video: Käyttääkö kipinä eläintarhanhoitajaa?

Video: Käyttääkö kipinä eläintarhanhoitajaa?
Video: Kipinän kylän esittelyvideo. 2024, Joulukuu
Anonim

Aloita Kipinä Hallitse useita solmuja ja varmista, että näillä solmuilla on sama Eläintarhanhoitaja konfiguraatio varten ZooKeeper URL ja hakemisto.

Tiedot.

Järjestelmän ominaisuus Merkitys
kipinä .deploy. eläintarhanhoitaja .dir Hakemisto sisään ZooKeeper palautustilan tallentamiseen (oletus: / kipinä ). Tämä voi olla valinnaista

Voitko siis ajaa kipinää paikallisesti?

Spark can olla juosta käyttämällä sisäänrakennettua itsenäistä klusterin ajastinta sovelluksessa paikallinen -tilassa. Tämä tarkoittaa, että kaikki Kipinä prosessit ovat juosta samassa JVM-tehokkaasti, yksi, monisäikeinen esiintymä Kipinä.

Toiseksi, voidaanko Sparkia käyttää ilman Hadoopia? Kuten Kipinä dokumentointi, Spark can juosta ilman Hadoopia . Voit käyttää sitä itsenäisenä tilana ilman mikä tahansa resurssipäällikkö. Mutta jos haluat käyttää usean solmun asetuksissa, tarvitset resurssienhallinnan, kuten YARN tai Mesos, ja hajautetun tiedostojärjestelmän, kuten HDFS , S3 jne. Kyllä, kipinäpurkki juosta ilman hadoopia.

On myös tiedettävä, miksi ZooKeeperiä käytetään Hadoopissa?

Eläintarhanhoitaja sisään Hadoop voidaan pitää keskitettynä tietovarastona, johon hajautetut sovellukset voivat sijoittaa dataa ja saada tietoja sieltä. se on käytetty pitää hajautetun järjestelmän toimivana yhdessä yhtenä yksikkönä käyttämällä synkronointi-, serialisointi- ja koordinointitavoitteita.

Kuinka spark standalone toimii?

Itsenäinen tila on yksinkertainen klusterinhallinta, joka on yhdistetty Kipinä . Sen avulla on helppo perustaa klusteri Kipinä itse hallitsee ja voi toimia Linuxissa, Windowsissa tai Mac OSX:ssä. Usein se on yksinkertaisin tapa juosta Kipinä sovellus klusteroidussa ympäristössä. Opi asentamaan Apache Spark Päällä Itsenäinen tila.

Suositeltava: