Når vi går til partitionering og bucketing i stade?

Indholdsfortegnelse:

Når vi går til partitionering og bucketing i stade?
Når vi går til partitionering og bucketing i stade?

Video: Når vi går til partitionering og bucketing i stade?

Video: Når vi går til partitionering og bucketing i stade?
Video: Our new Wickes Kitchen almost ! 2024, Marts
Anonim

Hive-partitionering og bucketing er, når vi partitionerer, vi opretter en partition for hver unikke værdi af kolonnen Men der kan være situationer, hvor vi skal lave en masse små skillevægge. Men hvis du bruger bucketing, kan du begrænse det til et antal, som du vælger, og opdele dine data i disse buckets.

Når vi bruger partitionering og bucketing i Hive?

Partitionering hjælper med at eliminere data, hvis det bruges i WHERE-klausulen, hvor bucketing hjælper med at organisere data i hver partition i flere filer, så det samme sæt data altid er skrevet i samme spand. Hjælper meget med at samle kolonner.

Hvornår skal jeg bruge bucketing Hive?

Bucketing i hive er nyttigt , når man har at gøre med store datasæt, der muligvis skal adskilles i klynger for mere effektiv styring og for at kunne udføre joinforespørgsler med andre store datasæt. Den primære anvendelse er at forbinde to store datasæt, der involverer ressourcebegrænsninger som hukommelsesbegrænsninger.

Kan vi foretage partitionering og bucketing på samme kolonne?

For at konkludere, du kan partitionere og bruge bucketing til at gemme resultater af den samme CTAS-forespørgsel Disse teknikker til at skrive data udelukker ikke hinanden. Typisk er de kolonner, du bruger til bucketing, forskellige fra dem, du bruger til partitionering. … Du kan gemme dens data i mere end én bøtte i Amazon S3.

Kan vi bruge bucketing uden at partitionere i Hive?

Bucketing kan også udføres selv uden partitionering på Hive-borde. Borde med spand tillader meget mere effektiv prøveudtagning end borde med ikke-spand. Tillad forespørgsler på en sektion af data til test- og fejlretningsformål, når de originale datasæt er meget store.

Anbefalede: