Processing Data met Apache Kafka

Je verkent de kenmerken van event streaming en hoe de KAFKA-architectuur schaalbare streaming van data mogelijk maakt. Ook richt deze training zich op het integreren van Python-applicaties met een Kafka-omgeving, het implementeren van consumentengroepen en het aanpassen van Kafka-configuraties.

Apache Spark is een gedistribueerde dataverwerkingsengine die petabytes aan data kan verwerken door die data te bundelen en te verdelen over een cluster van bronnen. Deze training behandelt de gestructureerde streaming engine van Spark.

Verder komt ook het volgende aan bod:

• Het installeren van Kafka en het aanmaken van topics.
• Het maken van brokers en een cluster van nodes om berichten mee af te handelen en hun replica's op te slaan.
• Verbinding maken met Kafka vanuit Python.
• Verschillende manieren om de prestaties van Kafka te optimaliseren, met behulp van configuraties voor brokers en topics, en voor producenten- en consumentenapps.
• De gestructureerde streaming engine van Spark, inclusief componenten zoals PySpark shell.
• Het bouwen van Spark-applicaties die gegevens verwerken die naar Kafka-onderwerpen ...