Kroky k vytvoření UDF v Apache Pig



Apache Pig má několik předdefinovaných funkcí. Příspěvek obsahuje jasné kroky pro vytvoření UDF v Apache Pig. Zde jsou kódy psány v Javě a vyžadují Pig Library

Tento příspěvek obsahuje nezbytný krok nutný k vytvoření UDF v Apache Pig. All UDF should extend a Filter function and has to contain a method called exec, which contains a Tuple. Logika použitá zde je, že pokud je Tuple null nebo nula, dá vám logickou hodnotu: True nebo False. A „IsofAge“ slouží ke kontrole, zda je daný věk správný nebo ne. Logika funkce definované uživatelem je napsána v kódech Java, kde bude vytvořen a poté exportován soubor JAR. Soubor JAR je později zaregistrován. Tyto soubory JAR se nacházejí v souborech knihovny Apache Pig v době načítání.

 veřejná třída IsOfAge rozšiřuje FilterFunc { @ Přepis publicBoolean exec (Tuple n-tice) throwsIOException {   if (tuple == null || tuple.size () == 0) {   returnfalse } Snaž se{ Objekt objekt = tuple.get (0) if (object == null) {   returnfalse } inti = (Integer) objekt   if (i == 18 || i == 19 || i == 21 || i == 23 || i == 27) {   returntrue } else { returnfalse }} chytit (ExecExceptione) { thrownewIOException (e) }}}

Jak volat prase UDF?

Jakmile je vytvořen UDF, je třeba použít následující příkaz k registraci souboru JAR.





register myudf.jar X = filtr A podle IsOfAge (věk)

Kroky k vytvoření UDF u prasete:

V Apache Pig existuje několik předdefinovaných funkcí. Máme také funkci k vytvoření vlastní funkce, kterou je funkce definovaná uživatelem (UDF). Pig UDF je napsán v Javě a to vyžaduje, aby Pig Library používala předdefinované třídy. Knihovna Apache Pig pig-0.8.0-cdh3u0-core.jar lze stáhnout z internetu.

Kliknutím sem zobrazíte kroky pro vytvoření skriptu Pig s UDF v režimu HDFS.



Máte na nás dotaz? Uveďte je v sekci komentáře a my se vám ozveme.

Související příspěvky:

html značka pro zalomení řádku

Apache Pig Script s UDF v režimu HDFS



Operátoři v Apache Pig: Část 1 - Relační operátoři

Operátoři v Apache Pig: Část 2 - Diagnostické operátory