Big Data Career je správná cesta vpřed. Vím proč!



Tento blog vysvětluje, jak je odvětví Big Data trendy na dnešním trhu a proč vám bude s Big Data Career v příštím desetiletí lépe.

Pokud jste již z IT průmysl , to si musíte být vědomi Velká data je řeč dne. Ať už je to, nové startupy přicházející s inovativními obchodními modely, nebo vaši kolegové, kteří se k těmto startupům připojují, z nějakého důvodu dnešní zelenější pastviny se zdá být Velká data průmysl.

Pokud vás zajímá, proč, pak vám doporučuji přečíst si to až do samého konce, protože to může být blog, který prozkoumá sám sebe a dovede vás k tomu, k čemu jste předurčeni.





Tak proč to všechnoHUMBUKokolní VELKÉ ÚDAJE?

Je to jen další doména, která dočasně přenese uprchlíky ze všech ostatních domén? Nebo to tu bude na dálku?



Pokud bych měl hádat, řekl bych, že to tu bude nejen na dálku, ale průmysl velkých dat bude v epicentru technologického pokroku.

Protože všechno je oDATA!

Stejně jako SluncevycházízVýchodníasadyvZápad, neustálé používání výpočetních / nevýpočtových zařízení bude mít za následek výbuch neovladatelných dat.



Když tato data překročí prahovou hodnotu, protože je zpracovávána Excelem nebo jakýmkoli systémem pro správu databází, pojmenujeme to VELKÉ ÚDAJE .

Přemýšlejte, který byl poslední produkt, který jste zakoupili od Amazonu? Který může být další produkt, který si můžete koupit na základě minulé aktivity? Odpovědi na tyto otázky jsou uloženy v Big Data.

Existuje za produktem rostoucí trend? Nebo existuje klesající trend? Koupí si zákazník „punčochy“, když si koupí „boty“? Jedná se o otázky k řešení obchodních problémů.

A tyto otázky mohou být snadno odpověděl používáním Analýza velkých dat .

Koneckonců, k čemu jsou data, když ne analyzovat to?

Takže, Big Dataúplně oAnalytics?Ne úplně, ale Analytics je nejvyšší cena.

Další hlavní proudy ve velkých datech jsouÚložný prostoraŘízení.

Zde můžete jako profesionál přispět. Můžete převzít roli buď:

  1. Big Data Engineer
  2. Architekt řešení velkých dat

A ujistěte se, že velká data, která se generují, jsou vždy k dispozici a mohou být použita pro analytiku v pozdějším okamžiku. Tím se dostáváme k otázce & hellip

Kde jsou uložena velká data?

Může být uložen vSoubor Excel? Může být uložen v arelační databázový systém?

Sakra ne!
Pokud by to mohlo být, pak by to bylo!

A být společně nazýván něčím jiným. Možná něco jakoExcel dataneboData RDBMS: D

A to by nás vrátilo zpět KROK 1 : - Proč nelze spravovat velká data pomocí aplikace Excel? ProtožeBig Data jsou pro aplikaci Excel příliš horká. A dokonce i další systémy pro správu databází.

c ++ jak používat jmenné prostory

Jaká je tedy alternativa?

Pro zpracování velkých dat máme HADOOP . Toto slovo možná znáte také. Možná se ale ptáte, jak přesně to funguje?

Pro začátečníky je HADOOP produktemNadace APACHE. Apache je americká nezisková organizace, která podporuje vývoj softwaru s otevřeným zdrojovým kódem.

Hadoop je definován jako open-source programovací rámec založený na Javě, který podporuje zpracování a ukládání extrémně velkých datových sad v prostředí distribuovaných výpočtů.

Co může Hadoop dělat, ale Excel ne?

Zpracovávejte a rozumějte nestrukturovaným datům!Se strukturovanými daty, která jsou v tabulkovém formátu nebo jinak, lze snadno zacházet. Excel to dokáže, stejně jako jakýkoli jiný RDBMS.

Ale když se sníží čitelnost a data jsou nestrukturovaná, to je místo, kde jsou velká datanástroje jako Hadoopskóre. Příklad nestrukturovaných dat je syslog . Ukázkový obrázek je níže.

syslogs - kariéra velkých dat - edureka

Takové protokoly rozhodně nelze dotazovat pomocí aplikace Excel.

Hadoop, stejně jako nástroje Big Data, dokáže porozumět datům tak, jak jsou, odkrýváním vzorců a vytvářením vztahů mezi různými poli. A jakmile mají data relační dotek, jsouPřipraveno pro analýzu.

Analytics bude mít obchodní dopad na organizaci! Vaše kariéra bude z velké části přínosem z účasti v této doméně Big Data.

' Mohu to udělat jako Hadoop-er? '

... možná máte na mysli další otázku. A správně si myslíme, že Big Data je trh, který je vždy tak horký a důležitý jako kdykoli předtím.

Bez Hadoopu budou mít společnosti těžké zabývat se velkými daty. A bez kvalifikovaných odborníků, jako jste vy, budou mít společnosti s Hadoopem těžké časy.

Existuje zpráva, která říká, že v této oblasti je nedostatek talentů. Nedostatek talentů znamená, méně profesionálů, ale vysoká poptávka. A to v globálním měřítku a není omezeno na konkrétní geografii.

Chcete čísla?

NA McKinsey Global Institute Studie uvádí, že USA budou do roku 2018 čelit nedostatku přibližně 190 000 datových vědců a 1,5 milionu manažerů a analytiků, kteří budou rozumět a rozhodovat pomocí Big Data.

Kariérní poradenství pro vás? Surfujte, když je příliv nízký!

Ale ty jsi omezený pouze Hadoop ?

Spíš ne. Existuje řada nástrojů pro zpracování Big Data a Hadoop je považován za jeden z nejlepších. Ale ne vždy!

Jsou chvíle, kdy Hadoop není nejvhodnější. Například pokud jste netechnická osoba, která neumí příliš dobře psát programy MapReduce.

V takových případech můžete použítTALEND, což vám dává grafické uživatelské rozhraní, abyste mohli dělat, co byste jinak dělali s MapReduce.

Pro psaní jednodušších kódů Java můžete použítPRASE.

Pokud chcete spouštět dotazy typu SQL na Big Data, pakÚLmůže být použito.

Pokud chcete použít data uložená v databázi NoSQL, pakHBasemůže být použito.

Pro provádění analytiky v reálném čase můžete použítJISKRA.

Jedná se o Big Data nástroje, které jdou ruku v ruce s Hadoopem, přesto nenahrazují Hadoop vůbec. Jsou to doplňky Hadoop pro velká data.

jak používat pravomoci v Javě

Kromě toho existuje několik dalších nástrojů, jako jsou SQOOP, FLUME, OOZIE atd., Které lze integrovat do rámce Hadoop pro řešení různých obchodních problémů.

Co od vás jako odborníka na velká data očekává průmysl?

Průmysl to naléhavě potřebuje VELKÉ DATA ARCHITEKTI kteří mohou vytvořit komplexní řešení velkých dat pro jejich organizace. Big Data Architects jsou odborníci se všemi výše uvedenými nástroji.

Zde je svědectví žáka Edureky kurs:

Stát se počínaje certifikačním tréninkem Edureka Big Data And Hadoop, který pomáhá studentům stát se odborníky na HDFS, Yarn, MapReduce, Pig, Hive, HBase, Oozie, Flume a Sqoop s využitím případů použití v reálném čase v oblasti maloobchodu, sociálních médií, letectví, cestovního ruchu, financí .