Hadoop, jak všichni víme, je kluk velkých dat. Jako softwarový rámec schopný zpracovat sloní proporce dat se společnost Hadoop dostala na vrchol seznamu módních slov CIO.
Bezprecedentní nárůst zásobníku v paměti však zavedl ekosystém velkých dat do nové alternativy pro analytiku. Způsob MapReduce analýzy je nahrazen novým přístupem, který umožňuje analýzu jak v rámci Hadoop, tak mimo něj. Apache Spark je novou novou tváří analýzy velkých dat.
Nadšenci velkých dat certifikovali Apache Spark jako nejžhavější datový výpočetní stroj pro velká data na světě. Je to rychlé vysunutí MapReduce a Java z jejich pozic a trendy v práci odrážejí tuto změnu. Podle průzkumu TypeSafe 71% globálních vývojářů Java v současné době hodnotí nebo zkoumá kolem Sparku a 35% z nich to již začalo používat. Odborníci na Spark jsou v současné době žádaní a v následujících týdnech se očekává, že počet pracovních příležitostí souvisejících se Sparkem projde pouze střechou.
Co je to s Apache Spark, díky čemuž se objevuje na vrcholu každého seznamu úkolů CIO?
Zde jsou některé ze zajímavých funkcí Apache Spark:
- Integrace Hadoop - Spark může pracovat se soubory uloženými v HDFS.
- Spark's Interactive Shell - Spark je napsán ve Scale a má vlastní verzi tlumočníka Scala.
- Spark's Analytic Suite - Spark přichází s nástroji pro interaktivní analýzu dotazů, rozsáhlé zpracování a analýzu grafů a analýzu v reálném čase.
- Pružné distribuované datové sady (RDD) - RDD jsou distribuované objekty, které lze ukládat do mezipaměti v paměti přes shluk výpočetních uzlů. Jsou to primární datové objekty používané ve Sparku.
- Distribuovaní operátoři - Kromě MapReduce existuje mnoho dalších operátorů, které lze na RDD použít.
Organizace jako NASA, Yahoo a Adobe se zavázaly ke Sparku. To je to, co John Tripier, Aliance a vedoucí ekosystému v Databricks říká: „Osvojení Apache Spark malými i velkými podniky roste neuvěřitelnou rychlostí v celé řadě průmyslových odvětví a poptávka po vývojářích s certifikovanou odborností je rychlá následující oblek “. Nikdy nebyl lepší čas se učit Spark, pokud máte zázemí v Hadoopu.
jak převést binární na desítkové v java
Edureka speciálně připravila kurz Apache Spark & Scala, který společně vytvořili odborníci z praxe. Pro diferencovaný živý e-learningový zážitek spolu s průmyslově relevantními projekty si prohlédněte náš kurz. Brzy začínají nové dávky, takže se podívejte na kurz zde: .
Máte na nás dotaz? Uveďte to prosím v sekci komentáře a my se vám ozveme.
Související příspěvky: