Mikä on Amazon Elastic MapReducen takana oleva tietojenkäsittelymoottori?
Mikä on Amazon Elastic MapReducen takana oleva tietojenkäsittelymoottori?

Video: Mikä on Amazon Elastic MapReducen takana oleva tietojenkäsittelymoottori?

Video: Mikä on Amazon Elastic MapReducen takana oleva tietojenkäsittelymoottori?
Video: How does AWS EBS work? | Visual Explanations | Part 1 of EBS 2024, Huhtikuu
Anonim

Amazon EMR käyttää jaettuna Apache Hadoopia tietojenkäsittelymoottori . Hadoop on avoimen lähdekoodin Java-ohjelmistokehys, joka tukee tiedot -intensiiviset hajautetut sovellukset, jotka toimivat suurissa klustereissa / hyödykelaitteisto.

Lisäksi mikä on Amazon Elastic MapReduce?

Amazon Elastic MapReduce ( EMR ) on Amazon Web Services ( AWS ) työkalu suuren datan käsittelyyn ja analysointiin. Amazon EMR käsittelee suuria tietoja Hadoop-virtuaalipalvelinklusterin yli Amazon elastinen Laske pilvi ( EC2 ) ja Amazon Yksinkertainen tallennuspalvelu ( S3 ).

Lisäksi onko Amazon EMR täysin hallinnassa? Se on a täysin hallinnassa Data Lake -palvelu, joka voi erottaa datatallennustilan laskentaresursseista ja tekee sen sijaan laskentaklustereista skaalautuvia, käytettävissä tarvittaessa, ja sisältää mahdollisuuden useille klusteille käyttää samoja tietojoukkoja kerralla.

Voidaan myös kysyä, kuinka AWS EMR toimii?

Yleensä kun käsittelet tietoja Amazon EMR , syöte on dataa, joka on tallennettu tiedostoina valitsemaasi taustalla olevaan tiedostojärjestelmään, kuten Amazon S3 tai HDFS. Tämä data siirtyy käsittelysekvenssin vaiheesta toiseen. Viimeinen vaihe kirjoittaa lähtötiedot määritettyyn paikkaan, kuten Amazon S3 ämpäri.

Mitä eroa on ec2:n ja EMR:n välillä?

Toisin kuin EMR , EC2 ei luokittele orjasolmuja ydin- ja tehtäväsolmuihin. Tämä lisää HDFS-tietojen menettämisen riskiä, jos solmu poistetaan tai katoaa. EC2 käyttää Apache-kirjastoja (s3a) päästäkseen s3:n tietoihin. Toisaalta, EMR käyttää AWS:n omaa koodia päästäkseen nopeammin s3:een.

Suositeltava: