Osnove Kafke - tečaj 42 000 rub. iz IBS Training Center, trening 24 sata, Datum: 04.12.2023.
Miscelanea / / November 29, 2023
Tema završena:
1. Pregled (teorija – 1 sat)
Što je Kafka.
Primjeri uspješnog i neuspješnog korištenja Kafke.
Kafka i baza podataka: sličnosti i razlike.
Kafka i red poruka: sličnosti i razlike.
Kafka arhitektura pohrane: brokeri, teme, particije, segmenti, replike.
Kafka klasterska arhitektura: Zookeeper, particioniranje, glavni i podređeni replikacijski čvorovi, ISR.
Klijenti i API-ji.
2. Postavljanje klastera (vježbe – 1 sat)
Praksa 2.1: Pokretanje Kafka klastera pomoću Dockera.
Instalacija Zookeepera.
Instaliranje Kafka brokera.
3. Razvoj aplikacija u Javi (teorija – 2,5 sata, praksa – 2,5 sata)
Kafka Producer API: Osnove.
Vježba 3.1: Slanje jedne poruke.
Vježba 3.2: Slanje više poruka.
Praksa 3.3: Slanje više poruka s izričitim dijeljenjem.
Vježba 3.4: Slanje poruka bez ključeva.
Kafka Consumer API: osnove, grupe potrošača.
Praksa 3.5: Jedan primatelj.
Vježba 3.6: Više primatelja u jednoj grupi.
Dodatne značajke: Paketi, Ponavljanja, Idempotencija, Transakcije, Ponovno balansiranje potrošačkih grupa.
Praksa 3.7: Pošiljatelj bez paketa i ponavljanja.
Vježba 3.8: Idempotentni pošiljatelj.
Vježba 3.9: Transakcijski pošiljatelj.
Praksa 3.10: Slanje i primanje u transakciji.
Praksa 3.11: Primanje-obrada-slanje u transakciji.
4. Eksterni pristup Kafkinom klasteru (teorija – 2 sata, praksa – 2 sata)
Sigurnost: SSL, SASL, Kerberos.
REST Proxy: slanje i primanje poruka u JSON, binarnom i Avro formatu.
Praksa 4.1: Pristup putem REST proxyja.
Registar shema: registar shema.
Vježba 4.2: Korištenje REST proxyja s registrom sheme.
5. Održavanje i nadzor (teorija – 1 sat, praksa – 1 sat)
Postavljanje klastera za različite namjene.
Zookeeper: konfiguracija, samostalni i kvorumski način rada, CLI.
Praksa 5.1: Praćenje Kafkinog klastera pomoću Prometheusa.
6. Nekoliko klastera (teorija – 1 sat, praksa – 1 sat)
Zašto biste možda trebali više klastera u Kafki?
MirrorMakerAccess.
Vježba 6.1: Korištenje MirrorMakera za sinkronizaciju klastera.
Replikator ušća.
7. Kafka Connect (teorija – 2 sata, praksa – 2 sata)
Kafka Connect arhitektura.
Odvodnici podataka Kafka Connect.
Vježba 7.1: FileStream File Receiver.
Vježba 7.2: JDBC prijamnik.
Kafka Connect izvore podataka.
Vježba 7.3: FileStream Source.
Vježba 7.4: JDBC izvor.
8. Osnove Kafkinih tokova (teorija – 2 sata, praksa – 2 sata)
Kafka Streams: DSL, API, StreamBuilder, izrada i implementacija topologije.
Demo 8.1: Implementacija topologije Streams.
Demo 8.2: Izrada aplikacije Streams pomoću StreamBuildera.
Kafka Streams uređaj: multi-threading, više instanci i zadataka.
Sheme podataka u Kafki: serijalizacija u JSON sheme, Avro sheme, registar shema, evolucija sheme.
Demo 8.3: Korištenje JSON shema.
Stateful Processing: State Store, tolerancija grešaka za State Stores.
KTable: tokovi ažuriranja podataka, predmemorija, brzina dohvaćanja, agregacija.
Prozori u tokovima: vremenske oznake, lebdenje, skakanje, sesija.
Veza: stream na stream, KTable na KTable, stream na KTable.