Když jsem byl mladší, miloval jsem filmovou sérii Star Wars. Moc se mi to líbilo, že jsem měl každou videokazetu s touto videokazetou. Dříve jsem je sledoval znovu a znovu. Pak přišel čas DVD přehrávačů a já jsem musel tyto filmy dostat znovu na DVD. Neměl jsem žádné výhrady k tomu, že jsem si znovu koupil celou sadu na DVD, protože jsem chtěl zažít novou technologii a nadále si užívat také své oblíbené filmy. Věci byly skvělé, dokud se neobjevila další nová technologie Blu-ray. Protože jsem filmy koupil již dvakrát, netěšil jsem se, že si je koupím znovu. Nějakou dobu jsem se nesnažil ‚aktualizovat 'sám sebe, protože jsem si myslel, že bez této technologie bych to zvládl. A bylo mi dobře. Na můj život to stejně nemělo vliv. Ale viděl jsem změnu v trendu a nemohl jsem sdílet své filmy se svými přáteli, jako to dělají navzájem. Opravdu jsem se cítil vynechán.
Nakonec jsem šel ven a dostal film na Blu-ray. Pamatuji si to ne proto, že miluji film, ale kvůli tomu, že kvalita videa byla ohromující. A k tomu všemu jsem dostal celou sadu filmů na jeden disk Blu-ray.
Potřeba nebo nutkání zůstat aktuální je nejsilnější, pokud jde o naši profesi, protože rizika jsou větší. Stalo se zásadní zůstat na vrcholu své hry.
4 praktické důvody pro učení Hadoop 2.0:
Jak je nevyhnutelné, zůstat v obraze naší profese se stalo důležitou součástí našeho života. Jakkoli to může znít skličující, není třeba se znepokojovat, protože technologie se ve skutečnosti nemění tak rychle nebo drasticky. Ale rozhovory a informace o těchto technologiích a věcech, které s nimi můžeme dělat, se zviditelňují. Zde je několik důvodů, proč byste měli zůstat aktuální:
# 1: Nenechte se chytit
pomocí r pro strojové učení
Pokud nebudete věnovat pozornost nejnovější aktualizaci technologie, můžete vypadat jako jelen chycený ve světlometu. Není to úplně zářivý obraz vašich profesionálních schopností. Když budete mít aktuální informace, vaši kolegové vás budou respektovat pro vaše profesionální dovednosti. Možná nebude nutné implementovat každou novou věc, kterou se naučíte, ale být si vědom aktualizací je nezbytně nutné.
Například když se hovoří o Hadoopu, můžete dát svým kolegům vědět, že Hadoop 2.5.0 má vylepšení ověřování při použití HTTP proxy serveru. A také ve velmi stejné verzi Hadoop existuje ustanovení pro zápis přímo do Graphite.
Když organizace uvažují o migraci na Hadoop, stává se nezbytným být na vrcholu nejnovějších aktualizací. A „vědění“ může udělat pro vaši kariéru obrovský rozdíl.
# 2: Mít konkurenční výhodu
Profesionálové, kteří mají znalosti ve svých oborech, jsou respektováni. Nejlepší je být na vrcholu a zůstat v obraze. Vaše potřeba zůstat v obraze odráží vaši vášeň pro vaši práci. Rozvíjením odborných znalostí ve své práci a ve svém oboru získáte důvěru a respekt lidí kolem vás. Z hlediska vedení je to neocenitelné!
I když vaše organizace stále pracuje s Hadoopem 1.0, znalost všech nejnovějších funkcí Hadoopu 2 vás udrží na správné cestě, protože je relativně nová a rozhodně lepší. Být první, kdo se to naučí, vám dá výhodu nad svými vrstevníky.
# 3: Nové příležitosti
Je smutnou realitou, že se naše současná role neustále mění. Postupem času přicházejí další odpovědnosti a příležitosti dělat nové úkoly. Když budete držet krok s aktuálními trendy v oboru, budete v nejlepší pozici tyto příležitosti využít.
Společnosti jako Macy's, Lockheed Martin, California Creative Solutions, Capital One, CSpring, CACI International Inc., Oracle, Yahoo !, American Express, BlueHawk, Aetna, Lawrence Livermore National Laboratory a mnoho dalších hledají lidi s nejnovějšími funkcemi Hadoop 2, jako YARN.
# 4: Dělejte lepší rozhodnutí
Další informace vám umožní činit informovaná rozhodnutí a lepší rozhodnutí. Pomůže vám rozpoznat příležitosti a přidat hodnotu strategii vaší organizace.
Hadoop 2 má funkce, které zvyšují rychlost a snižují náklady. Navrhování možností pro zlepšení výkonu a zvýšení rychlosti může rozhodně zvýšit produktivitu organizace. Zde jsou některé funkce Hadoop 2, které budou přínosem pro organizaci a jejich návrh posílí také vaši kariéru.
Podpora pro spuštění Hadoop na Microsoft Windows
Zjednodušená distribuce binárních souborů MapReduce přes HDFS v distribuované mezipaměti YARN.
Vylepšená podpora nových aplikací na YARN se serverem Application History Server a Application Timeline Server
Kompletní podpora HTTPS v HDFS
Integrace Kerberos pro úložiště časové osy YARN.
Podpora hierarchie heterogenního úložiště v HDFS.
Mezipaměť v paměti pro data HDFS s centralizovanou správou a správou.
Zjednodušená distribuce binárních souborů MapReduce přes HDFS v distribuované mezipaměti YARN.
Existují víc než jen praktické důvody pro aktualizaci. Existují také technické důvody. Hadoop má řadu funkcí, které jsou pro organizace výhodné. Když se na ně podíváte hlouběji, získáte jasný obraz o výhodách.
Jaká je nejnovější aktualizace v Hadoopu?
Každý produkt prochází různými fázemi vydání a přichází s různými verzemi sebe sama. Hadoop není výjimkou a přišel s Hadoop 2.0. Nadace Apache přišla s následnými verzemi Hadoop jako Hadoop 2.1.0, Hadoop 2.4.0 a dosáhla Hadoop 2.5.1, což je nejnovější verze vydaná v září 2014.
Proč byl Hadoop 2 vydán?
S novou verzí přicházejí přidané funkce a opravené chyby. Takže pokaždé, když používáte konkrétní verzi Hadoopu a myslíte si, že lze přidat určitou funkci nebo je třeba opravit některé chyby, dáte o tom vědět lidem v nadaci Apache. Tito lidé na tom zase pracují a v příští verzi vám poskytnou lepší produkt.
Hadoop 2 - nejen číslo
Hadoop 2 není jen nejnovější verze Hadoop. Celkově jde o architekturu druhé generace. Arun Murthy, zakladatel a architekt distributora Hadoop, Hortonworks, trvá na tom, že tento rozdíl je důležitý, protože množství re-engineeringu potřebného k přesunu Hadoopu nad dávkové zpracování a do světa analytiky v reálném čase bylo značné.
Pojďme si promluvit o tom, jak se Hadoop 2.0 liší od svého předchůdce Hadoop 1.0. Je zřejmé, že novější verze bude lepší než dřívější verze. Následují čtyři hlavní vylepšení v Hadoop 2.0 oproti Hadoop 1.x:
HDFS Federation - Horizontální škálovatelnost NameNode
NameNode Vysoká dostupnost - NameNode již není jediným bodem selhání
YARN - Schopnost zpracovávat terabajty a petabajty dat dostupných v HDFS pomocí aplikací Non-MapReduce jako MPI, GIRAPH
Resource Manager - Rozdělí dvě hlavní funkce přetíženého JobTrackeru (správa zdrojů a plánování / monitorování úloh) do dvou samostatných démonů: globálního správce zdrojů a aplikace ApplicationMaster pro jednotlivé aplikace
K dispozici jsou další funkce, jako je Capacity Scheduler (Enable Multi-tenancy support in Hadoop), Data Snapshot, Support for Windows, NFS access, allowing greater Hadoop adopt in the Industry to resolve Big Data problems.
Hadoop 2.X Vs Hadoop 1.X
Pojďme udělat malé srovnání a podívejme se, v čem je Hadoop 2.0 lepší a odlišný od Hadoop 1.0
Proč je Hadoop 2 upřednostňován před Hadoop 1.0?
Hadoop 2.0 nabízí vylepšení výkonu, která těží z souvisejících technologií v ekosystému Hadoop. Kromě převratných funkcí HDFS a architektury druhé generace (YARN) existuje ještě více a více důvodů, proč upřednostňovat Hadoop 2 před Hadoop 1.0:
Hadoop 2 již nemá jazykové omezení. To znamená, že Hadoop nyní může používat celá řada profesionálů.
S Hadoop 2 jsou překonány překážky, jako je nedostatek kodérů MapReduce.
2krát rychlejší než Hadoop 1.0
2násobek návratnosti investic se stávajícím hardwarem.
U aplikace YARN je rozhraní pro programování aplikací mnohem otevřenější a flexibilnější.
Hadoop 2 rozšiřuje možnosti pro použití Hadoop v projektech Big Data.
k čemu se loutka používá
S Hadoop 2 mohou vývojáři nyní provádět obrovské množství úkolů souvisejících s daty, nad rámec předchozího dávkového zpracování Hadoop.
Nabízí nové příležitosti pro správce informací a řeší nedostatky v předchozích verzích.
Tato nová verze má jedinečnou funkci spouštění více úloh na stejném clusteru Hadoop.
Hadoop již není omezen na jednu funkci. Jeho aplikace nyní přesahuje HDFS a MapReduce.
Klíčové výhody příze
Víme, že YARN je architekturou druhé generace, podívejme se, díky čemu je tak skvělá.
Měřítko
Nové programovací modely a služby
příklady tříd a objektů pythonu
Vylepšené využití klastru
hbitost
Mnohem víc než Java
A mnoho dalších
Poptávka po dovednostech Hadoop 2
Organizace nyní zavádějí nebo experimentují s Hadoop 2. V důsledku toho existuje potřeba odborníků v Hadoop 2. Mnoho organizací již začalo interně hledat lidi, kteří by s Hadoopem spolupracovali. Existují jasné náznaky, že YARN je na vzestupu a nakonec nahradí poptávku po dovednosti MapReduce.
Zde je několik pohledů na současnou a předpokládanou poptávku po dovednostech Hadoop:
Podle analytiků z Gartneru je Hadoop 2 zásadním vývojem, protože velké podniky po celém světě shledaly, že Hadoop mění jejich správu dat Big Data.
Podle Erica Kavanagha ze skupiny Bloor získal Hadoop 2.0 trakci mezi informačními pracovníky, kteří se snažili dohadovat Big Data.
Přijímání Hadoop 2.0 stále roste a nyní vstupuje do fáze zralosti.
Organizace si uvědomují výhody příze a jsou z ní nadšené.
Zde je přehled pracovních míst pro Hadoop 2.0 / YARN v Indeed.com
Kdo přechází na Hadoop 2 nebo již má?
Yahoo:
Yahoo! , lídr ve všem, co Hadoop implementoval YARN (0.23.x). Podle Murthyho klastr Yahoo s 35 000 uzly nyní zpracovává 130–150 úloh za den ve srovnání s 50–60 před YARN.
Když mluvíme o hvězdném výkonu, Murthy cituje: „Když máte 2x přes 35 000 až 40 000 uzlů, je to fenomenální.“ Dále dodal: „Je to docela poutavý příběh, který sděluje řediteli informačních technologií, že pokud právě upgradujete software z Hadoop 1 na Hadoop 2, uvidíte ve svých úlohách dvojnásobné zlepšení propustnosti.“
eBay:
eBay má jeden z největších klastrů Hadoop v oboru, kde jsou data v petabajtech. Také migrovali své klastry do Hadoop 2.
Závěr:
Díky vyspělosti a snazší implementaci Hadoop 2 přesvědčují dokonce skeptiky a stále více organizací přechází na Hadoop 2.0. Existují platné důvody, proč se vyhnout verzím 1.x. Ale s Hadoop 2 o tom uvažují i nevěřící, protože může být použit pro širokou škálu použití. Když se naučíte Hadoop 2.0 a implementujete jej k provádění výpočtů na velkých datech, budete otevírat brány technicky vyspělé a finančně prospěšné kariéře.
Máte na nás dotaz? Uveďte je prosím v sekci komentáře a my se vám ozveme.
Související příspěvky: