Analiza podataka u Pythonu i bazama podataka (SQL) - besplatni tečaj RANEPA, obuka, Datum: 6. ožujka 2023.
Miscelanea / / December 04, 2023
Python program za analizu podataka i baze podataka (SQL) omogućit će studentima razumijevanje osnova programiranja ML (strojno učenje) algoritama korištenjem jezika Python. Također će vam pomoći u svladavanju niza kompetencija u području upravljanja suvremenim relacijskim bazama podataka te steći praktične vještine korištenja jezičnih alata DBMS (Database Management Systems podaci).
U poslovanju i vladi, ogromne količine podataka moraju se neprestano analizirati dobiti informacije za kontrolu kvalitete rada, iznijeti svježe ideje i opravdati prihvaćene odluke. Stručnjaci koji razumiju goleme količine podataka mogu očekivati brze karijere s impresivnim plaćama.
SQL i Python se u pravilu najčešće spominju u oglasima za posao vezanim uz analizu podataka.
Na tečaj se mogu prijaviti samo studenti koji ne studiraju sljedeće smjerove:
Tijekom svladavanja programa studenti će imati priliku osmisliti nove digitalne proizvode (samostalno ili u timu). Autori najboljih rješenja dobit će potporu Akademije i mogućnost suradnje s Laboratorijem za umjetnu inteligenciju i Laboratorijem za razvoj platformi RANEPA.
Piton
Kako to sve funkcionira? Značajke Pythona.
Zašto svi koriste Python? Usporedba s drugim programskim jezicima. Kako pisati programe? Prednosti Pythona. Kako koristiti Python u zadacima: obrada teksta, rad sa slikama, pisanje stock robota, pokretanje chat botova. Ulaz i izlaz u Pythonu. Imena u Pythonu. Osnovne operacije. Kontrola napretka izvođenja programa (uvjetne konstrukcije). Primjeri jednostavnih programa.
Ciklusi. Linije. String metode.
Petlja s preduvjetom. Naredbe Break i Continue. Za petlju Struktura linije i duljina linije. Element linije i kako rezati linije. Dobivanje podniza iz niza. Prijelaz linije. Sekcije.
Tuples. Popisi. mapa funkcije. Generator popisa slučajnih vrijednosti.
Zašto su potrebne torke? Rad s listom. Elementi popisa. Ispišite popis. Ispravno kopiranje popisa. Značajke korištenja funkcije karte. Što su generatori slučajnih vrijednosti? Gomila. Operacije sa skupovima. Frozenset. Rječnici. dobiti metodu Prolazak rječnika.
Funkcije. Primjena matematičkih funkcija. Opseg i isključenje.
Kako pravilno pisati funkcije. Jednostavni algoritmi. Pisanje prvih funkcija. Kako dodati matematiku. Preporuke za pisanje vlastitih funkcija. Kako opsezi rade. Globalne varijable. Vraćanje više vrijednosti iz funkcije. Iznimke.
Rad s datotekama. Matrice. Vrste sortiranja
Što možete učiniti s datotekama? Otvaranje i zatvaranje datoteka. Čitanje i pisanje tekstualnih datoteka. Matrice. Ispunjavanje matrica. Unos matrica red po red. Čitanje i pisanje matrica. Razvrstavanje mjehurića. Analiza algoritma. Nekoliko verzija rješenja.
Pregled biblioteke NumPy. Rad s NumPy funkcijama. SciPY biblioteka.
Python biblioteke i njihova instalacija. Osnovni NumPy tipovi podataka. Numeričke funkcije. Rad s nizovima. Operacije s nizovima. Dvodimenzionalni nizovi. Matrice. Osnovne značajke SciPy biblioteke.
Pregled biblioteke Pandas. Osnovna analitika.
Instaliranje knjižnice. Stvaranje objekta serije. DataFrame indeksiranje. Stolovi. Čitanje i pisanje datoteka. Indeksiranje. Uzorkovanje podataka. Operacije s redovima i stupcima. Rad s NaN. Sortiranje.
Vizualizacije podataka. Praktični primjeri
Proučavanje novih podataka, pretprocesiranje, vizualizacija podataka, traženje veza između značajki, priprema podataka za obuku i izrada modela predviđanja kreditnog rizika. Dobivanje modela koji odgovara na pitanje: izdati ili ne izdati kredit.
Automatizacija rutinskih zadataka. Praktični primjeri
Analiza praktičnih primjera automatizacije zadataka vezanih uz dobivanje agregiranih informacija iz više izvora (Excel datoteke) ili Interneta.
Pregled metoda strojnog učenja korištenih za analizu podataka. Praktični primjeri
Praktičan primjer prepoznavanja osnovnih značajki i njihove interpretacije u problemu nadziranog učenja.
Međumodulno ocjenjivanje
Privremena certifikacija odvija se u obliku testa (računalno testiranje). Uzorak tipične ispitne zgrade:
Koju Python funkciju možete koristiti da saznate vrstu varijable?
- hwoami
- tip
- vrsta
- je
Koji će raspon brojeva biti kreiran u sljedećem kodu: raspon (9, 3, -2)
- 9 8 7 6 5 4 4
- 9 7 5 3
- 9 7 5
- 11 9 8 7 6 5 4
Što vam isječak koda u popisu omogućuje da izvršite?
- Isječak koda: print(math.sqrt(2))
- prikazivanje broja 2 iz matematičke knjižnice
- povezivanje matematičke knjižnice
- kvadriranje matematičkog broja
- prikazuje kvadratni korijen iz dva
SQL
Pohranjivanje i cjelovitost podataka.
Pohranjivanje podataka: podatkovne datoteke, zapisnici, RAID razine, Tempdb. Odnosi u bazama podataka, jedan prema jednom, jedan prema mnogima, mnogi prema mnogima. Integritet podataka: PRIMARY KEY, CHECK, UNIQUE i FOREIGN KEY. Normalizacija tablica.
Izrada baze podataka i tablica.
Arhitektura DBMS-a: logička (tablice i tipovi podataka, ključevi, indeksi, pogledi, sklopovi, ograničenja, pravila, zadane vrijednosti) i fizičke razine (datoteke i grupe datoteka, stranice). Izrada baze podataka. Vrste podataka polja tablice: Točni brojevi, Unicode znakovni nizovi, približni brojevi, binarni podaci, datum i vrijeme, drugi tipovi podataka, znakovni nizovi. Izrada tablica. Gdje pisati zahtjeve?
Indeksi. Dijagrami.
Indeksi: klasterirani, neklasterirani, jedinstvena identifikacija, filtrirani, columnstore, hash, neklasterizirani, memorijski optimizirani indeks. ER dijagrami: dijagrami baze podataka, čvor baze podataka. DML i najčešći SQL operatori: SELECT, INSERT, UPDATE, DELETE. Važnost jedinstvenih faktora.
Zahtjevi. Vanjski priključci.
Upiti na jednoj tablici. Uzorkovanje bez ponavljanja. Upiti na više tablica. Vanjski spojevi: LIJEVO, DESNO ili PUNO.
Agregatne funkcije. Podupiti.
Podupiti: WHERE COUNT, SUM, AVG, MAX, MIN, IN, ALL, ANY. Spajanje podataka: SELECT JOIN. Skupne funkcije: AVG, CHECKSUM_AGG, COUNT, COUNT_BIG, GROUPING, GROUPING_ID, MAX, MIN, STDEV, STDEVP, STRING_AGG, SUM, VAR, VARP. Uvjeti za agregatne funkcije.
Korisne značajke.
Još malo o operaterima. Industrijski zahtjev. Korisne funkcije: SQRT, RAND, CONCAT, numeričke i string funkcije. Prednost operacije i pretvorba tipa: CAST, CONVERT.
Transakcije. Reprezentacija.
Jedan zahtjev na četiri načina. Transakcije: koncept transakcija - atomičnost, dosljednost, izolacija, trajnost, upravljanje transakcijama - COMMIT, ROLLBACK, SAVEPOINT, SET TRANSACTION. Paralelni pristup podacima: problemi prljavog, neponovljivog čitanja, fantomi. Pogledi: indeksirani, particionirani, sustav.
Varijable i petlje.
Početak programiranja. Varijable: DECLARE, SET, SELECT. Struktura koda. Operatori za opis podataka: CREATE, DROP, ALTER itd. Operatori za manipulaciju podacima: INSERT, DELETE, SELECT, UPDATE itd. Operatori za postavljanje prava pristupa u bazi: GRANT / REVOKE, LOCK / UNLOCK, SET LOCK MODE Operatori za zaštitu, oporavak podataka i drugi operatori. Ciklusi: WHILE.
Pohranjene procedure i funkcije.
Privremeni stolovi. Transact-SQL kursori, poslužitelj, klijent. Vrste kursora: jednosmjerni, statički, Keyset, dinamički. Pohranjene procedure i funkcije: CREATE PROCEDURE, CREATE PROC.
Okidači. Iznimke.
Transportna traka HF. Okidači: AFTER, INSTEADOF. Iznimke: OSIM. Dinamički SQL pomoću ključne riječi i pomoću pohranjene procedure: IZVRŠI ODMAH.
DBMS. NoSQL baze podataka.
Transakcije u programiranju/DBMS/SQL. Kako se zahtjevi izvršavaju. Kako poboljšati izvedbu upita. NoSQL baza podataka i njene prednosti.
Međumodulno ocjenjivanje
Privremena certifikacija odvija se u obliku testa (računalno testiranje). Uzorak tipične ispitne zgrade:
Koja vrsta podataka polja je vrsta BROJ?
- niz
- numerički
- binarni
Koja SQL naredba postavlja upit za podatke?
- PROMIJENI
- IZABERI
- IZ
Što je transakcija?
- ovo je skupina operacija koje izvodi DBMS
- je grupa operacija koja ima svojstva ACID
- ovo je operacija izvršavanja SQL naredbe