Indholdsfortegnelse:

Hvordan starter jeg min spark History-server?
Hvordan starter jeg min spark History-server?

Video: Hvordan starter jeg min spark History-server?

Video: Hvordan starter jeg min spark History-server?
Video: Surviving a Black Hole | Uncovering Hidden UAP Data with Avi Loeb 2024, November
Anonim

Sådan aktiverer du Spark-historikserveren:

  1. Opret en mappe til hændelseslogfiler i DSEFS-filsystemet: dse hadoop fs -mkdir /spark $ dse hadoop fs -mkdir /spark/events.
  2. Når hændelseslogning er aktiveret, er standardadfærden, at alle logfiler gemmes, hvilket får lageret til at vokse over tid.

Udover dette, hvordan konfigurerer jeg en spark History-server?

Sådan aktiverer du Spark-historikserveren:

  1. Opret en mappe til hændelseslogfiler i DSEFS-filsystemet: dse hadoop fs -mkdir /spark $ dse hadoop fs -mkdir /spark/events.
  2. Når hændelseslogning er aktiveret, er standardadfærden, at alle logfiler gemmes, hvilket får lageret til at vokse over tid.

På samme måde, hvordan finder jeg min spark History-server-URL? F.eks. for historie server , vil de typisk være tilgængelige på server - url >:18080/api/v1, og for en kørende applikation på https://localhost:4040/api/v1. I API'et refereres en applikation af dens applikations-id, [app-id].

Ligeledes, hvad er spark History server?

Det Spark History server er et overvågningsværktøj, der viser information om gennemførte Gnist applikationer. Denne information er hentet fra de data, som applikationer som standard skriver til en mappe på Hadoop Distributed File System (HDFS).

Hvad er Sparkui?

Spark Web-brugergrænsefladen giver dig mulighed for at se en liste over planlægningsstadier og -opgaver, miljøoplysninger, information om de kørende udførere og mere. Se denne 30-minutters demo for at lære om: Komponenter og livscyklus i et Spark-program. Hvordan din Spark-applikation kører på en Hadoop-klynge.

Anbefalede: