Data Engineer from zero to Junior - besplatni tečaj iz Skillboxa, trening, Datum: 29.11.2023.
Miscelanea / / November 30, 2023
Za početnike
Naučite Python i SQL od nule. Naučiti prikupljati, analizirati i obrađivati podatke. Riješite probleme na temelju stvarnih slučajeva i dodajte ih u svoj portfelj. Karijeru u Data Engineeringu možete započeti tijekom studija.
Za programere
Unaprijedite svoje znanje SQL-a za rad s bazama podataka. Proći ćete cijeli put podatkovnog inženjera od prikupljanja neobrađenih podataka do postavljanja modela. Iskustvo u programiranju pomoći će vam da brzo shvatite novu profesiju i promijenite polje.
Za analitičare početnike
Naučite sve faze rada s podacima. Naučite prikupljati informacije iz različitih izvora, izgraditi arhitekturu za njihovo pohranjivanje i vizualizirati izvješća. Moći ćete samostalno pripremiti podatke za naknadnu analizu.
Autor tečaja Machine Learning. Viši podatkovni znanstvenik, voditelj tima u SberData, Sber. 5+ godina u struci
Predavač tečaja, direktor istraživanja i razvoja, UBIC Tech. Više od 15 godina iskustva u razvoju
Data Scientist u Sberbanku, matematičar u Računskom centru Ruske akademije znanosti. Blok “Osnove matematike za znanost o podacima”. Više od 4 godine iskustva u nastavi više matematike
Prva razina: osnovna obuka
Upoznajte se s glavnim područjima Data Science, obučite i implementirajte svoj prvi ML model. Steći osnovna znanja iz matematike, statistike i teorije vjerojatnosti. Sve ovo pomoći će vam da razumijete osnovna načela rada s podacima. Prosječno vrijeme završetka je 6 mjeseci.
Uvod u znanost o podacima
Proći ćete kroz sve faze rada s podacima. Naučite identificirati probleme, prikupiti poslovne zahtjeve. Preuzet ćete podatke iz različitih izvora, provesti istraživačku analizu i pripremiti skup podataka za daljnju upotrebu. Obučite i implementirajte gotov ML model, okušajte se kao analitičar proizvoda i marketinga. Naučite kako formulirati i testirati hipoteze. Savladajte osnovne alate za rad: Python, SQL, Excel, Power Bi, Airflow.
Osnovna matematika za znanost o podacima
Steknite osnovna znanja iz matematike za rad sa strojnim učenjem. Razumjet ćete što su aproksimacija, interpolacija, funkcije, regresije, matrice i vektori. Naučite raditi s matematičkim entitetima u biblioteci SymPy Python.
Osnove statistike i teorije vjerojatnosti
Razumjet ćete principe rada sa slučajnim varijablama i događajima. Upoznajte se s nekim vrstama distribucija i statističkih testova koji su korisni u izradi modela i testiranju hipoteza.
Mogućnost stažiranja
Za dobivanje pripravničkog staža dovoljna su osnovna znanja i vještine – možete istovremeno nastaviti studirati na tečaju i u tvrtki.
Druga razina: Data Engineer Junior
Naučite prikupiti složene skupove podataka, pripremiti prezentacije i izgraditi cjevovode za rad, implementirati DS projekte od nule i testirati kod. Bit ćete spremni raditi kao Junior Data Engineer. Prosječno vrijeme završetka je 6 mjeseci.
Uvodni blok
Saznajte što Data Engineer radi, koju ulogu ima u projektu Data Science i koji su njegovi putovi u karijeri. Razumjet ćete kako je strukturiran tečaj i koje ćete teme proučavati.
SQL
Naučite manipulirati podacima u postojećim tablicama, izvoditi operacije umetanja, brisanja i ažuriranja. Podatke iz baze podataka možete spremati u različitim formatima. Naučite o funkcijama prozora i osnovama pripreme vitrina podataka pomoću SQL-a. Naučite osigurati ispravno umetanje informacija u načinu transakcije. Moći ćete čitati i razumjeti dnevnik transakcija. Saznajte što su indeksi i arhitektura indeksa te gdje se koriste. Naučite tehnike za ubrzavanje upita.
Piton. LVL 2
Razmotrite vrste podataka, kako se mogu pretvoriti i kako Python i SQL rade zajedno - dobivanje podataka iz baze podataka, rad s podacima i pokretanje upita. Naučite osnovne koncepte JSON i XML shema podataka. Moći ćete konfigurirati otklanjanje pogrešaka u aplikaciji, pisati testove, anonimizirati i šifrirati podatke.
Knjižnice za Python
Naučit ćete što su biblioteke za rad s grafikonima, nadzirano učenje, vizualizacija metrika i izvori skupova podataka. Naučite koristiti Python i biblioteke za rad s podacima. Možete nastaviti učiti Pande.
Protok zraka
Pregledajte ključne koncepte i prakse za rad s Airflowom. Naučite osnove arhitekture i interoperabilnosti od korisničkog sučelja do CLI-ja. Izgradite svoj prvi podatkovni cjevovod.
Osnove Spark
Master Spark: naučite na kojim računalnim resursima radi, kako pohranjuje podatke i radi s memorijom i diskom. Postavite svoj prvi lokalni štand. Naučite osnove RDD-a: osnovne pojmove, rad s izvorima, akcije. Naučite raditi s Dataframe API-jem. Naučite probleme s izvedbom i optimizacijom pri korištenju Dataframea, izvore i vrste podataka, rad s važećim/nevažećim podacima, rukovanje pogreškama, UDF, interakciju s Pythonom i SQL-om.
Osnove algoritama strojnog učenja
Razumjet ćete glavne vrste modela strojnog učenja, ključne pojmove i definicije. Naučite regresijske algoritme i algoritme klasteriranja.
Raspoređivanje
Naučite glavne faze pripreme modela za implementaciju, pristupe izgradnji API-ja i načine rukovanja pogreškama i otklanjanja pogrešaka u aplikacijama. Moći ćete riješiti probleme s implementacijom i svladati osnovne alate za razmetanje. Upoznajte se s ključnim procesima basha: pisanjem skripti, radom s varijablama i uređivačima teksta sed i awk.
Završni projekti
Nakon položene prve razine pripremite uvodni projekt. Na kraju tečaja prezentirat ćete svoj završni rad.
Uvod u znanost o podacima
Učvrstite svoje novo znanje na pojedinačnom projektu - prijeći ćete od učitavanja podataka do implementacije modela. Riješite probleme inženjera podataka, ML inženjera i analitičara podataka kako biste odlučili o svojoj specijalizaciji.
Inženjer podataka
Završni projekt na juniorskoj razini. Provedite kohortnu analizu i preuzmite API reference. Izradite nadzorne ploče na temelju primljenih podataka.
Bonus tečajevi
Karijera programera: Zapošljavanje i razvoj
Naučit ćete kako odabrati odgovarajuće radno mjesto, pripremiti se za razgovor i pregovarati s poslodavcem. Moći ćete brzo dobiti poziciju koja ispunjava vaša očekivanja i vještine.
Git sustav kontrole verzija
Naučite mijenjati kod verzije, stvarati i upravljati spremištima, ograncima i rješavati sukobe verzija. Naučite korisna pravila za rad s Gitom.
Engleski za IT stručnjake
Steknite jezične vještine koje će vam pomoći da prođete intervju sa stranom tvrtkom i ugodno komunicirate u mješovitim timovima.