Stejně jako se říká, že celý vesmír a naše galaxie vznikly v důsledku exploze velkého třesku, podobně i díky tolika technologickým pokrokům data exponenciálně rostla, což vedlo k explozi velkých dat. Tato data pocházejí z různých zdrojů, mají různé formáty, jsou generována proměnlivou rychlostí a mohou také obsahovat nekonzistence. Můžeme tedy jednoduše označit explozi takových dat jako .V tomto blogu vysvětlím následující témata, abych vám poskytl přehled o Big Data Analytics:
- Proč Big Data Analytics?
- Co je Big Data Analytics?
- Big Data Tools
- Velké datové domény
- Případy použití velkých dat
- Trendy v analýze velkých dat
Proč Big Data Analytics?
Než skočím a povím vám o tom, co je Analytics, dovolte mi, abych vám řekl, proč je to potřeba. Dovolte mi také, abych vám odhalil, že každý den vytváříme přibližně 2,5 kvintilionu bajtů dat! Takže teď, když jsme nashromáždili Big Data, nemůžeme je ignorovat, ani je nemůžeme nechat nečinné a nechat je plýtvat.
Big Data Analytics začaly využívat různé organizace a odvětví po celém světě, aby získaly řadu výhod. Big Data Analytics poskytuje poznatky, které mnoho společností přeměňuje na akce a přináší obrovské zisky i objevy. Uvedu čtyři takové důvody spolu se zajímavými příklady.
Prvním důvodem je,
- Chytřejší a efektivnější organizace
Dovolte mi, abych vám řekl o jedné takové organizaci, newyorském policejním oddělení (NYPD). NYPD skvěle využívá Big Data a analytiku k detekci a identifikaci zločinů dříve, než k nim dojde. Analyzují historické vzory zatčení a poté je mapují s událostmi, jako jsou federální svátky, výplaty, dopravní toky, srážky atd.To jim pomáhá při okamžité analýze informací využitím těchto datových vzorů. Big Data a analytická strategiepomáháidentifikují místa zločinu, prostřednictvím kterých do těchto míst nasazují své důstojníky. Dosažením těchto míst před spácháním trestných činů tedy zabraňují vzniku trestné činnosti.
- Optimalizujte obchodní operace analýzou chování zákazníků Většina organizací používá behaviorální analýzu zákazníků k zajištění spokojenosti zákazníků, a tím ke zvýšení jejich zákaznické základny. Nejlepším příkladem je Amazon. Amazon je jedním z nejlepších a nejpoužívanějších webů elektronického obchodování se základnou zákazníků přibližně 300 milionů. Využívají údaje o klikání zákazníků a historické údaje o nákupu, aby jim poskytly přizpůsobené výsledky na přizpůsobených webových stránkách. Analýza kliknutí každého návštěvníka na jeho webu jim pomáhá porozumět jejich chování při navigaci na webu, cestám, kterými se uživatel vydal ke koupi produktu, cestám, které je vedly k opuštění webu a dalším. Všechny tyto informace pomáhají společnosti Amazon zlepšit jejich uživatelskou zkušenost, a tím zlepšit jejich prodej a marketing.
- Snižování nákladů Technologie velkých dat a technologický pokrok, jako je cloud computing, přinášejí významné nákladové výhody, pokud jde o ukládání a zpracování velkých dat. Řeknu vám, jak zdravotnictví využívá Big Data Analytics ke snížení nákladů. Pacienti dnes používají nová senzorová zařízení doma nebo venku, která odesílají stálé toky dat, které lze monitorovat a analyzovat v reálném čase, a pomáhat tak pacientům vyhnout se hospitalizaci tím, že si sami spravují své stavy.U hospitalizovaných pacientů mohou lékaři využít prediktivní analytiku k optimalizaci výsledků a snížení zpětného přebírání.Nemocnice Parkland používá analytiku a prediktivní modelování k identifikaci vysoce rizikových pacientů a předpovídání pravděpodobných výsledků, jakmile budou pacienti posláni domů. Výsledkem je, že Parkland snížil 30denní readmise u pacientů se srdečním selháním o 31%, úspora 500 000 $ ročně.
Produkty nové generace
Díky schopnosti měřit potřeby a spokojenost zákazníků pomocí analytiky přichází síla dát zákazníkům to, co chtějí. Našel jsem zde tři takové zajímavé produkty, které zde mohu citovat. za prvé , Googleauto s vlastním pohonemcož při každé jízdě dělá miliony výpočtů, které pomáhají autu rozhodnout se, kdy a kde zatočit, zda zpomalit nebo zrychlit a kdy změnit jízdní pruh - stejná rozhodnutí, jaká činí lidský řidič za volantem.
The druhý jeden jeNetflix, který se zavázal na dvě sezóny své extrémně populární show House of Cards, tím, že zcela důvěřuje analýze velkých dat! V loňském roce Netflix zvýšil svou základnu předplatitelů v USA o 10% a přidal téměř 20 milionů předplatitelů z celého světa.
The Třetí příklad je jedna z opravdu skvělých nových věcí, se kterými jsem se setkal, je inteligentní podložka na jógu. Při prvním použití Smart Mat vás provede řadou pohybů ke kalibraci tvaru, velikosti a osobních omezení vašeho těla. Tyto informace o osobním profilu jsou uloženy ve vaší aplikaci Smart Mat a pomohou Smart Mat zjistit, zda jste v nerovnováze nebo v rovnováze. Postupem času se bude automaticky vyvíjet s aktualizovanými daty, jak budete zlepšovat své cvičení jógy.
Co je Big Data Analytics?
Nyní formálně definujeme „Co je Big Data Analytics?“ Analýza velkých dat zkoumá velké a různé typy dat, aby odhalila skryté vzory, korelace a další poznatky. Big Data Analytics je v zásadě využívána společnostmi k usnadnění jejich růstu a rozvoje. Jedná se hlavně o aplikaci různých algoritmů dolování dat na danou sadu dat, které jim pak pomohou při lepším rozhodování.
Fáze v analýze velkých dat
Jedná se o následující fáze procesu Big Data Analytics:
Typy analýzy velkých dat
Existují čtyři typy:
- Popisná analýza: Využívá agregaci dat a dolování dat k nahlédnutí do minulosti a odpovědi: „Co se stalo?“ Popisná analytika dělá přesně to, co název napovídá, že „popisují“ nebo shrnují nezpracovaná data a činí je interpretovatelnými lidmi.
- Prediktivní analýza: Využívá statistické modely a techniky předpovědí k pochopení budoucnosti a odpovědi: „Co by se mohlo stát?“ Prediktivní analýza poskytuje společnostem užitečné informace založené na datech. Poskytuje odhady pravděpodobnosti budoucího výsledku.
- Předpisová analýza: Využívá optimalizační a simulační algoritmy k poradenství ohledně možných výsledků a odpovědí: „Co bychom měli dělat?“ Umožňuje uživatelům „předepsat“ řadu různých možných akcí a vést je k řešení. Stručně řečeno, tato analytika je o poskytování poradenství.
- Diagnostická analýza: Používá se k určení, proč se něco stalo v minulosti. Vyznačuje se technikami, jako je rozbalení, zjišťování dat, dolování dat a korelace. Diagnostická analýza podrobněji zkoumá data, aby pochopila hlavní příčiny událostí.
Velká data Nástroje
Toto jsou některé z následujících nástrojů používaných pro analýzu velkých dat: Hadoop , , Apache HBase , Apache Spark , , , Apache Hive , Kafka .
Velké datové domény
- Zdravotní péče: Zdravotnictví využívá analýzu velkých dat ke snižování nákladů, předpovídání epidemií, předcházení chorobám, kterým lze předcházet, a ke zlepšení kvality života obecně. Jeden z nejrozšířenějšíchaplikací velkých dat ve zdravotnictví je Electronic Health Record (EHRs).
- Telecom: Jsou jedním z nejvýznamnějších přispěvatelů k Big Data. Telekomunikační průmysl zvyšuje kvalitu služeb asměruje provoz efektivněji. Analýzou záznamů o hovorech v reálném čase mohou tyto společnosti identifikovat podvodné chování a okamžitě na ně reagovat. Marketingová divize může upravit své kampaně tak, aby lépe zacílily na své zákazníky a využívaly poznatky získané při vývoji nových produktů a služeb.
- Pojištění: Tyto společnosti používají analýzu velkých dat pro hodnocení rizik, detekci podvodů, marketing, přehledy zákazníků, zkušenosti zákazníků a další.
- Vláda: Indická vláda použila analýzu velkých dat k získání odhadu obchodu v zemi. Faktury z centrální daně z obratu použili k analýze rozsahu, v jakém státy vzájemně obchodují.
- Finance: Banky a firmy poskytující finanční služby používají analytiku k odlišení podvodných interakcí od legitimních obchodních transakcí. Analytické systémy navrhují okamžité akce, jako je blokování nepravidelných transakcí, které zastaví podvod dříve, než k němu dojde, a zvyšuje ziskovost.
- Automobil: Rolls Royce, který přijal Big Data instalací stovek senzorů do svých motorů a pohonných systémů, které zaznamenávají každý drobný detail jejich provozu. Změny dat v reálném čase jsou hlášeny technikům, kteří rozhodnou o nejlepším postupu, jako je plánování údržby nebo dispečink technických týmů.
- Vzdělání: Toto je jedno pole, kde se analýza velkých dat absorbuje pomalu a postupně.Volba technologie založené na velkých datech jako učebního nástroje místo tradičních přednáškových metod zlepšila učení studentů a pomohla učitelům lépe sledovat jejich výkon.
- Maloobchodní: Maloobchod včetně elektronického obchodování a obchodů široce využívá Big Data Analytics k optimalizaci svého podnikání. Například Amazon, Walmart atd.
Případy použití velkých dat
První případ použití, který jsem zde vzal, je Starbucks.
Druhý případ použití, o který se s vámi chci podělit, je Procter & Gamble.
Trendy v analýze velkých dat
Obrázek níže zobrazuje tržní tržby z Big Data vmiliardaAmerických dolarů od roku 2011 do roku 2027.
Tady nějaké jsou Fakta a statistiky od Forbes :
Kariérní vyhlídky v analýze velkých dat:
- Aspekty platu: Průměrná mzda analytických pracovních míst se pohybuje kolem 94 167 $. Data Scientist byl po dobu tří let jmenován nejlepším pracovním místem v Americe, se střední základní mzdou 110 000 $ a 4524 volnými místy. V Indii kleslo procento analytiků, kteří velí na platy méně než 10 INH Lakhů, nižší procento analytiků, kteří vydělávají více než 15 INR Lakhů, z 17% v roce 2016 do dvacet jedna% v roce 2017 do 22,3% v roce 2018.
- Obrovské pracovní příležitosti: Společnosti jako Google, Apple, IBM, Adobe, Qualcomm a mnoho dalších najímají odborníky na Big Data Analytics.
Sada dovedností
Zde jsou některé z dovedností, které jsou vyžadovány v závislosti na roli v oblasti Big Data Analytics:
- Základní programování: Jeden by měl mít znalosti alespoň o nějakém univerzálním programovacím jazyce, jako je Java a Python.
- Statistická a kvantitativní analýza: Představa o statistice a kvantitativní analýze je ideální.
- Skladování dat: Je požadována znalost databází SQL a NoSQL.
- Vizualizace dat: Je velmi důležité vědět, jak vizualizovat data, aby bylo možné porozumět poznatkům a aplikovat je v akci.
- Specifické obchodní znalosti: Aby bylo možné optimalizovat jejich provoz, je nutné si být vědomi podnikání, kde používají analytiku.
- Výpočetní rámce: Pokud možno, měli byste vědět alespoň o jednom nebo dvou nástrojích, které jsou vyžadovány pro analýzu velkých dat.
Nyní, když znáte analýzu velkých dat, podívejte se na Edureka, důvěryhodná online vzdělávací společnost se sítí více než 250 000 spokojených studentů rozložených po celém světě. Kurz certifikace Edureka Big Data Hadoop Certification Training pomáhá studentům stát se odborníky na HDFS, Yarn, MapReduce, Pig, Hive, HBase, Oozie, Flume a Sqoop pomocí případů použití v reálném čase v oblasti maloobchodu, sociálních médií, letectví, cestovního ruchu, financí.
podřetězec v příkladu serveru sql
Máte na nás dotaz? Uveďte to prosím v sekci komentáře a my se vám ozveme.