Data Engineer - tečaj 89 000 rub. iz Otusa, obuka 4 mjeseca, datum 30.11.2023.
Miscelanea / / December 03, 2023
Što će vam ovaj tečaj dati?
- Razumijevanje ključnih načina za integraciju, obradu i pohranu velikih podataka
- Sposobnost rada s komponentama Hadoop ekosustava, distribuiranom pohranom i rješenjima u oblaku
- Praktične vještine u razvoju podatkovnih usluga, izloga i aplikacija
- Poznavanje principa organizacije praćenja, orkestracije, testiranja
Tečaj je adresiran programeri, DBMS administratori i svi koji žele unaprijediti svoju profesionalnu razinu, ovladati novim alatima i baviti se zanimljivim poslovima u području rada s podacima.
Nakon studija Data Engineering postat ćete traženi stručnjak koji:
- implementira, prilagođava i optimizira alate za obradu podataka
- prilagođava skupove podataka za daljnji rad i analitiku
- stvara usluge koje koriste rezultate obrade velikih količina podataka
- odgovoran za arhitekturu podataka u tvrtki
Stvarne studije slučaja: primjeri implementacija, korištenje alata, optimizacija performansi, problemi, pogreške i primijenjeni rezultati
Visoko praktična orijentacija:
Tijekom tečaja postupno ćemo stvarati radni proizvod, rješavajući primijenjene probleme
Cjelovita slika izazova i zadataka suvremenog poslovanja te uloga Data Engineera u njihovom rješavanju
Potražnja među poslodavcima
Već je 40 poslodavaca spremno pozvati maturante na razgovor
6
tečajeviInženjer podataka u Wildberriesu, predavač DE Junior tečaja. Više od 7 godina u IT-u
Diplomirao na Voronješkom državnom sveučilištu s pohvalama. Trenutno student na HSE magistarskom studiju „Sustavsko i programsko inženjerstvo“. Profesionalno iskustvo - 2 godine rada kao Data Analyst i Data Engineer. Sada radi s 5 popularnih baza podataka, razvija se u Pythonu i ubrzano razvija svoje vještine. Spreman podijeliti svoje iskustvo.
1
dobroViše od 10 godina razvija analitiku u tvrtki. Među postignućima: - Izgradnja vlastitog end-to-end sustava web analitike; - Izgradnja analitičkog skladišta temeljenog na MPP Vertica; - Organizacija obrade podataka temeljena na Spark, Kafka, HDFS; -...
Više od 10 godina razvija analitiku u tvrtki. Među postignućima: - Izgradnja vlastitog end-to-end sustava web analitike; - Izgradnja analitičkog skladišta temeljenog na MPP Vertici; - Organizacija obrade podataka temeljena na Sparku, Kafka, HDFS;- Izgradnja procesa za rad s podacima, uključujući kvalitetu podataka;- Stvaranje nekoliko internih alata za rad i strukturiranje metapodataka (Katalog podataka);- Izgradnja korporativnog sustava izvještavanja, uključujući i realtime; - Više od 5 godina podiže podatkovnu pismenost unutar tvrtke, provodi različite treninge o radu s podacima, alati, SQL; Također je razvio nekoliko voditelja analitike koji sada rade u velikim tvrtkama. Glavni fokus je na razumijevanju poslovnih problema pri radu s podacima i njihovom rješavanju.
1
dobroVoditelj odjela, Sberbank 8 godina iskustva u industrijskom razvoju, uključujući izradu i održavanje web aplikacija u velikim tvrtkama i startupima. 3 godine razvoja distribuiranih sustava za velike državne...
Voditelj odjela, Sberbank 8 godina iskustva u industrijskom razvoju, uključujući izradu i održavanje web aplikacija u velikim tvrtkama i startupima. 3 godine razvoja distribuiranih sustava za velike državne korisnike. Implementirao tri projekta od nule, od prototipa do spremnog za industrijsku upotrebu. Trenutno se bavi full-stack razvojem za interne klijente u banci, rješava probleme vezane uz analizu podataka i inženjering. Iskustvo u programiranju u Java, Scala, Python, Javascript. Širok raspon profesionalnih interesa, od izgradnje distribuiranih sustava do prediktivne analitike i analize namjere. Obrazovanje: diplomirao na UrFU named. B.N. Jeljcina “Informacijske tehnologije”.
Arhitektura podataka
-Tema 1. Data Engineer. Zadaci, vještine, alati, potrebe tržišta
-Tema 2.Arhitektura analitičkih aplikacija: osnovne komponente i principi
-Tema 3.On premises / Cloud rješenja
-Tema 4. Automatizacija i orkestracija cjevovoda – 1
-Tema 5. Automatizacija i orkestracija cjevovoda – 2
Data Lake
-Tema 6. Distribuirani datotečni sustavi. HDFS/S3
-Tema 7.SQL pristup Hadoopu. Apache Hive/Presto
-Tema 8. Formati za pohranu podataka i njihove značajke
-Tema 9. Analiza daljinskog upravljanja za 1 slučaj
-Tema 10. Redovi poruka. Kafkin pregled.
-Tema 11. Preuzimanje podataka iz vanjskih sustava
-Tema 12.Apache Spark – 1
-Tema 13.Apache Spark – 2
DWH
-Tema 14.Analitički DBMS. MPP baze podataka
-Tema 15.DWH Modeliranje – 1. dbt osnove
-Tema 16. DWH modeliranje – 2. Trezor podataka 2.0
-Tema 17. DevOps prakse u analitičkim aplikacijama. CI+CD
-Tema 18. Analiza daljinskog upravljanja za slučaj 2
-Tema 19. Kvaliteta podataka. Upravljanje kvalitetom podataka
-Tema 20. Implementacija BI rješenja
-Tema 21. Praćenje / Metapodaci
NoSQL/NewSQL
-Tema 22. NoSQL pohrana. Široki stupac i ključ/vrijednost
-Tema 23. NoSQL pohrana. Orijentiran na dokumente
-Tema 24.ELK
-Tema 25.ClickHouse
-Tema 26. Analiza daljinskog upravljanja za slučaj 3
MLOps
-Tema 27. Organizacija i pakiranje koda
-Tema 28. Docker i REST arhitektura
-Tema 29.MLFlow + DVC
-Tema 30. Razmjena modela
-Tema 31. Analiza daljinskog upravljanja za slučaj 4
-Tema 32. Analiza daljinskog upravljanja za slučaj 5
Diplomski rad
-Tema 33. Odabir teme i organizacija rada na projektu
-Tema 34.Savjetovanje
-Tema 35.Zaštita