Apache Kafka – Niveau Avancé : Administration, Optimisation et Streaming Temps Réel

À l’issue de la formation, les participants seront capables de :

• Installer et configurer un cluster Kafka scalable et résilient
• Gérer la sécurité : authentification, autorisation, chiffrement
• Optimiser la production et la consommation pour des performances maximales
• Mettre en œuvre Kafka Connect pour l’intégration avec d’autres systèmes
• Développer des applications streaming avancées avec Kafka Streams
• Surveiller et dépanner un cluster Kafka en production

Architecture avancée et administration de cluster

• Installation multi-nœuds, configuration de brokers, Zookeeper / KRaft
• Réplication, ISR (In-Sync Replicas), stratégies de partitionnement
• Gestion des logs, configuration de la rétention, nettoyage des topics
• Gestion des quotas et contrôle du débit

Sécurité dans Kafka

• Authentification : SSL, SASL (PLAIN, SCRAM, Kerberos)
• Autorisation : ACLs (Access Control Lists)
• Chiffrement des données en transit et au repos
• Meilleures pratiques et audit de sécurité

Performance et optimisation

• Paramètres de production et consommation (batch.size, linger.ms, fetch.min.bytes)
• Compression des messages (gzip, snappy, lz4)
• Gestion des délais, backpressure, et gestion des erreurs
• Tuning du GC, configuration mémoire JVM pour brokers

Kafka Connect et intégrations

• Présentation de Kafka Connect et connecteurs disponibles (bases, fichiers, cloud)
• Configuration et gestion de connecteurs source et sink
• Transformation simple des données dans les pipelines
• Déploiement et monitoring des connecteurs

Kafka Streams avancé

• Concepts clés : topologies, KStream, KTable, GlobalKTable
• Opérations stateless vs stateful
• Fenêtrage, agrégations, joins, transformations personnalisées
• Tolérance aux pannes, sauvegarde d’état (state stores)
• Monitoring et debugging d’applications Kafka Streams

Monitoring et maintenance

• Outils de monitoring : Kafka Manager, Confluent Control Center, Prometheus, Grafana
• Logs, métriques JMX, alerting
• Diagnostic des problèmes : lag, déséquilibre des partitions, ISR, erreurs réseau
• Sauvegarde, migration, mises à jour du cluster

Cas pratiques et ateliers

• Mise en place d’un cluster Kafka multi-nœuds sécurisé
• Déploiement de connecteurs source/sink avec transformation des données
• Développement d’une application Kafka Streams avancée
• Analyse et résolution de problèmes de performance et de stabilité

• En cours de formation, par des études de cas ou des travaux pratiques
• Et, en fin de formation, par un questionnaire d'auto-évaluation