Okvir Apache Spark za programere: napredna razina - tečaj 41 500 rub. iz IBS Training Center, trening 24 sata, Datum 26. studenog 2023.
Miscelanea / / December 05, 2023
Obuka pruža detaljno razumijevanje unutarnje strukture i funkcioniranja okvira Apache Spark - i Spark Core (RDD), Spark SQL, Spark Streaming i Spark Structured Streaming. Razmatraju se mehanizmi za pokretanje Spark komponenti klastera pod kontrolom različitih upravitelja klastera, upravljanje alokacijom resursa (prvenstveno memorije), te mehanizmi rada planera. Detaljno se istražuju prednosti Tungsten internog formata predstavljanja i rada optimizatora Catalyst.
Tema završena:
Spark interna arhitektura, Spark Runtime Environment
Postavljanje Spark konteksta, SparkConf
Interno RDD, logički raspored
Najbolje prakse za programiranje s RDD-om
Fizički plan: rad, etape, zadaci
Planeri i izvedba prostornog plana
Podešavanje memorije, serijalizacija, predmemorija, sakupljanje smeća
Datasource API, Tungsten interni prikaz podataka, formati datoteka
Optimizator katalizatora
Microbatch Spark Streaming: primanje i izlaz podataka
Structured Streaming: primanje i distribucija podataka