Hive je systém datového skladu pro Hadoop, který umožňuje snadnou sumarizaci dat, dotazy ad-hoc a analýzu velkých datových sad uložených v souborových systémech kompatibilních s Hadoop. Úl strukturujte data do dobře srozumitelných databázových konceptů, jako jsou tabulky, řádky, sloupce a oddíly. Podporuje primitivní typy, jako jsou celá čísla, plováky, čtyřhra a řetězce. Hive také podporuje asociativní pole, seznamy, struktury a Serialize a Deserialized API se používá k přesunu dat dovnitř a ven z tabulek.
jak používat Python Anaconda
Podívejme se podrobně na datové modely Hive
Úlové datové modely:
Datové modely Hive obsahují následující komponenty:
- Databáze
- Tabulky
- Příčky
- Vědra nebo shluky
Oddíly:
Oddíl znamená rozdělení tabulky na hrubozrnné části na základě hodnoty sloupce oddílu, například „data“. Díky tomu je rychlejší provádět dotazy na řezy dat
jak ukončit program java
Jaká je tedy funkce Partition? Klávesy oddílu určují způsob ukládání dat. Zde každá jedinečná hodnota klíče oddílu definuje oddíl tabulky. Kvůli pohodlí jsou oddíly pojmenovány po datech. Je to podobné jako u „Block Splitting“ v HDFS.
Lopaty:
Vědra dávají datům další strukturu, která lze použít pro efektivní dotazy. Spojení dvou tabulek, které jsou na stejných sloupcích, včetně sloupce spojení, lze implementovat jako spojení na straně mapy. Bucketing podle použitého ID znamená, že můžeme rychle vyhodnotit uživatelský dotaz spuštěním na randomizovaném vzorku z celkové sady uživatelů.
Máte na nás dotaz? Uveďte je prosím v sekci komentáře a my se vám ozveme.
Související příspěvky:
kulaté dvojité na int java