Onko show toiminta kipinässä?
Onko show toiminta kipinässä?

Video: Onko show toiminta kipinässä?

Video: Onko show toiminta kipinässä?
Video: Radio Kipinä Podcast – Mosaiikkisodankäynti 2024, Marraskuu
Anonim

2 vastausta. näytä on todellakin an toiminta , mutta se on tarpeeksi älykäs tietääkseen, milloin sen ei tarvitse suorittaa kaikkea. Jos sinulla olisi orderBy, sekin kestäisi hyvin kauan, mutta tässä tapauksessa kaikki operaatiosi ovat karttaoperaatioita, joten koko finaalipöytää ei tarvitse laskea.

Niin, onko laskenta kipinässä?

Kreivi () kohteeseen Kreivi rivien määrä. Koska se käynnistää DAG-suorituksen ja palauttaa tiedot kuljettajalle, sen an toiminta RDD:lle. Tapaus 2: Jos soitat Kreivi Dataframessa se aloittaa DAG-suorituksen ja palauttaa tiedot ohjaimelle, sen an toiminta Dataframelle.

Samoin mitä on toiminta ja transformaatio kipinässä? Kipinä RDD-toiminnot. Kaksi Apache-tyyppiä Kipinä RDD-toiminnot ovat Muutokset ja Toiminnot . A Muutos on toiminto, joka tuottaa uuden RDD:n olemassa olevista RDD:istä, mutta kun haluamme työskennellä todellisen tietojoukon kanssa, siinä vaiheessa Toiminta on esitetty.

Vastaavasti, mitä on toiminta kipinässä?

Toiminnot ovat RDD:n operaatioita, tämä arvo palaa takaisin spar-ohjainohjelmiin, jotka käynnistävät klusterissa suoritettavan työn. Transformaation tulos on tulo Toiminnot . vähentää, kerätä, ottaaSample, ottaa, ensin, saveAsTextfile, saveAsSequenceFile, countByKey, foreach ovat yleisiä Toiminnot Apachessa kipinä.

Mitä kerää () tekee kipinässä?

kerätä (funktio) kerätä palauttaa tietojoukon elementit taulukkona takaisin ajuriohjelmaan. kerätä käytetään usein aiemmin annetuissa esimerkeissä, kuten Kipinä Muunnosesimerkkejä palautuksen arvojen näyttämiseksi. REPL esimerkiksi tulostaa taulukon arvot takaisin konsoliin.

Suositeltava: