Sisällysluettelo:

Kuinka voin parantaa sqoop-suorituskykyäni?
Kuinka voin parantaa sqoop-suorituskykyäni?

Video: Kuinka voin parantaa sqoop-suorituskykyäni?

Video: Kuinka voin parantaa sqoop-suorituskykyäni?
Video: Hadoop Rack Awareness 2024, Saattaa
Anonim

Optimoimaan esitys , aseta the karttatehtävien määrä pienempään arvoon kuin the yhteyksien enimmäismäärä the tietokanta tukee. Hallitseminen the samansuuntaisuuden määrä Sqoop käytetään tiedonsiirtoon the tärkein tapa hallita the ladata päälle sinun tietokanta.

Vastaavasti, mitä tapahtuu, jos sqoop epäonnistuu prosessin välillä?

Tyypillinen Sqoop työ, joka syöttää tietoja lähdetietokannasta HDFS:ään, kopioi tiedot kohdehakemistoon. Kopioitu tiedosto poistetaan jos sqoop epäonnistuu täyttämättä.

Voidaan myös kysyä, kuinka saavutat yhdensuuntaisuuden sqoopissa? Hallitseminen Rinnakkaisuus . Sqoop tuo tietoja rinnakkain useimmista tietokantalähteistä. Voit määrittää tuonnissa käytettävien kartoitustehtävien (rinnakkaisprosessien) määrän käyttämällä argumenttia -m tai --num-mappers. Jokainen näistä argumenteista saa kokonaisluvun arvon, joka vastaa astetta rinnakkaisuus työllistää

Näin ollen, kuinka voin parantaa Hive-kyselyni suorituskykyä?

Alla on luettelo käytännöistä, joita voimme noudattaa Hive-kyselyjen optimoimiseksi

  1. Ota pakkaus käyttöön Hivessa.
  2. Optimoi liitokset.
  3. Vältä globaalia lajittelua Hivessä.
  4. Ota Tez Execution Engine käyttöön.
  5. Optimoi LIMIT-operaattori.
  6. Ota rinnakkaissuoritus käyttöön.
  7. Ota Mapreduce Strict Mode käyttöön.
  8. Yksittäinen vähennys Multi Group BY:lle.

Miten sqoop split toimii?

Sitä voidaan käyttää tuonnin tehokkuuden parantamiseen saavuttamalla suurempi rinnakkaisuus. Sqoop luo halkeaa perustuu arvoihin tietyssä taulukon sarakkeessa, jonka määrittelee -- jakaa -käyttäjältä tuontikomennon kautta. Jos se ei ole käytettävissä, syöttötaulukon ensisijaista avainta käytetään luomaan halkeaa.

Suositeltava: