Er s3 baseret på HDFS?

2024 Forfatter: Lynn Donovan | [email protected]. Sidst ændret: 2023-12-15 23:45

S3 er faktisk en uendelig lagring i skyen, men HDFS er ikke. HDFS er hostet på fysiske maskiner, så du kan udføre et hvilket som helst program der. Du kan ikke udføre noget på S3 da det kun er Object Store og ikke FS.

Så er s3 et distribueret filsystem?

S3 er ikke en distribueret filsystem . Det er et binært objektlager, der gemmer data i nøgleværdi-par. Det er i bund og grund en type NoSQL-database. Hver bucket er en ny "database", hvor nøgler er din "mappesti" og værdier er de binære objekter ( filer ).

Man kan også spørge, om AWS er baseret på Hadoop? Hadoop er en ramme, der hjælper med at behandle store datasæt på tværs af flere computere. Det inkluderer Map/Reduce (parallel behandling) og HDFS (distribueret filsystem). AWS er et datavarehus bygget oven på en proprietær teknologi oprindeligt udviklet af ParAccel.

Udover dette, hvordan overfører jeg filer fra s3 til HDFS?

Svar. Der er ingen direkte måde at kopiere filer fra S3 til HDFS uden at gå igennem lokalt filer . Du kan dog bruge tSystem-komponenten i et standardjob til at kalde den oprindelige Hadoop kommando du normalt bruger til kopiere filer , for eksempel, s3 -dist-cp.

Hvad er s3 database?

Amazon S3 eller Amazon Simple Storage Service er en tjeneste, der tilbydes af Amazon Web Services (AWS), der leverer objektlagring via en webservicegrænseflade. Amazon S3 bruger den samme skalerbare lagerinfrastruktur, som Amazon.com bruger til at drive sit globale e-handelsnetværk.