Big Data & Intelligence Artificielle

Kafka & Spark

  

Profil Intervenant(s)
100x100

Docteur en Informatique - Professeur habilité & Expert Senior
10 ans d'Experience
Spécialités
Développement Web et Mobile, Moteurs de recherche, Big Data, JAVA/JEE, IA.


100x100

Docteur en Informatique - Professeur habilité & Expert Senior
10 ans d'Experience


Spécialités

Développement Web et Mobile, Moteurs de recherche, Big Data, JAVA/JEE, IA.




      A partir du  28-12-2020 à 10:00

      A partir du  16-02-2021 à 17:07



        3 J 

        Formation hybride Cours théorique à distance sur la plateforme youcan-academy.com, et travaux pratiques en présentiel
Inscrivez-vous à la prochaine session

Appelez vos conseillers
06 49 99 11 00
06 64 16 75 10

Objectifs de la formation

• Ecrire des programmes Spark2 pour la création et la manipulation des datasets • Extraction de la connaissance depuis un site web et l’analyser dans un contexte Spark2 • Utiliser les algorithmes de la machine Learning avec Spark ML

Prérequis


• Connaissances de base en Python

Introduction


• Les applications real time • Problèmes des applications real time • Les flux distribués

Kafka


• Architecture et fonctionnement de Kafka • Notion de Producer, Consumer et Topic • Travaux pratiques : Création et manipulation des Tubes, Consumers et Producers • Le client Java • Le client Python

Spark core


• Spark vs Hadoop • L’écosystème Spark • L’objet RDD • Les transformations et actions RDD

Spark SQL


• Architecture de Spark SQL • Les objets DataFrame et DataSet • Importation et manipulation des fichiers texte et Json • Exécution des requêtes SQL

Spark Streaming


• Fonctionnement et notion de DStream • Traitement et analyse en temps réel avec Spark Streaming • Exemple de programmes Spark Streaming : L’analyse des sentiments dans les chatbots

Spark ML


• Rappel sur les algorithmes de machine learning • KMeans avec PySpark • TF-IDF avec PySpark • Régression avec PySpark

  Elasticsearch

  BIG Data Hortonworks Architecture et intégration

© Copyright All Rights Reserved 2020 | Developed By : Team Formations++