Sisällysluettelo:

Kuinka ajoitan pesätyön ooziessa?
Kuinka ajoitan pesätyön ooziessa?

Video: Kuinka ajoitan pesätyön ooziessa?

Video: Kuinka ajoitan pesätyön ooziessa?
Video: Ehkäisevä työ kuuluu kaikille -webinaari 20.4.2022 2024, Saattaa
Anonim

Vastaanottaja aikataulu Hiven työ käyttämällä Oozie , sinun on kirjoitettava a Pesä -toiminta.

hql) siinä.

  1. Luo hakemisto HDFS:ssä käynnistämällä komennon alla.
  2. hadoop fs -mkdir -p /käyttäjä/ oozie /työnkulut/
  3. Aseta työnkulku. xml, Pesä komentosarja (create_table. hql) ja pesä -sivusto. xml vaiheessa 2 luotuun hakemistoon. Voit käyttää alla olevaa komentoa.

Kuinka ajaan Hive-skriptin ooziessa?

Suorita Hive Jobs Oozien kanssa

  1. Määritä pesän paikka. xml job-xml-parametrissa.
  2. Määritä skriptiparametrissa sen skriptin nimi (esimerkiksi komentosarja. q), joka sisältää hive-kyselyn.
  3. Voit halutessasi lisätä Oozie-käynnistystyön käyttämiä ominaisuuksia. Lisää etuliite oozie. käynnistysohjelma kiinteistöjen nimiin.

Lisäksi, kuinka suoritan oozie-työnkulkua? Oozie-työnkulun suorittaminen komentoriviltä

  1. Kirjaudu sisään verkkokonsoliin.
  2. Kopioi oozie-esimerkit kotihakemistoosi verkkokonsoliin: cp /usr/hdp/current/oozie-client/doc/oozie-examples. terva. gz.
  3. Pura tiedostot osoitteesta tar tar -zxvf oozie-examples.tar.gz.
  4. Kopioi esimerkkihakemisto HDFS-hadoop fs -copyFromLocal-esimerkkeihin.

Kuinka ajoitan Hadoop-työn tässä suhteessa?

Miten aikatauluttaa työt sisään hadoop - Quora. Yksinkertaisin tapa on kääriä koodi shell-skriptiin ja ajoittaa se kronuna Job reunasolmussa (solmussa, johon yleensä lähetät työpaikkoja ). Mutta yleensä koodin pakkaaminen skriptiin ja sen suorittaminen a Job on vaikea korjata. testata ja huoltaa.

Mikä on oozie-työnkulku?

Oozie on työnkulku ajoitusjärjestelmä Apache Hadoop -töiden hallintaan. Oozie työnkulku työpaikat ovat toimien suunnattuja asyklisiä kuvaajia (DAG). Oozie Koordinaattorityöt ovat toistuvia Oozie työnkulku ajan (taajuuden) ja tietojen saatavuuden käynnistämät työt. Oozie on skaalautuva, luotettava ja laajennettava järjestelmä.

Suositeltava: