Big Data & Intelligence Artificielle

BIG DATA

  

Profil Intervenant(s)
100x100

Docteur en Informatique - Expert Senior - Enseignant-Chercheur
15 ans d'Experience
Spécialités
Applications réparties, Web Services, Architectures Micro Services, Bases de Données avancées, Big Data et IA, J2EE, Technologies Mobiles, JEE, Spring, Hadoop, React, HTML5, XML, DotNet, ...


100x100

Docteur en Informatique - Expert Senior - Enseignant-Chercheur
15 ans d'Experience


Spécialités

Applications réparties, Web Services, Architectures Micro Services, Bases de Données avancées, Big Data et IA, J2EE, Technologies Mobiles, JEE, Spring, Hadoop, React, HTML5, XML, DotNet, ...




      A partir du  18-01-2021 à 10:00



        5 J 

        Formation hybride Cours théorique à distance sur la plateforme youcan-academy.com, et travaux pratiques en présentiel
Inscrivez-vous à la prochaine session

Appelez vos conseillers
06 49 99 11 00
06 64 16 75 10

Objectifs de la formation

Ce module a pour objectif de donner aux étudiants une connaissance théorique et pratique de la plateforme Hadoop, au travers de plusieurs exercices pratiques appliqués à des cas réels. Appréhender le fonctionnement d’Hadoop • Identifier l’écosystème : quels outils pour quels usages ? • Manipuler ... ? • Manipuler les principales commandes shell d’interaction avec Hadoop • Emettre des requêtes SQL avec Hive et HCatalog • Créer des traitements de données avec Pig • Utiliser Apache Spark et l’intégrer dans l’écosystème hadoop • Utiliser Sqoop, Kafka, Flume, Hive et Impala Voir Plus

Prérequis


Les compétences professionnelles suivantes sont souhaitables : la connaissance d’un langage de programmation structuré et les bases du monde relationnel.

Le Big Data


Définition du périmètre du Big Data. Le rôle du projet Hadoop. Les concepts de base des projets Big Data. Hadoop V1 s V2 Les architectures Big Data à base du projet Hadoop. Le Hadoop Distributed File System (HDFS) Introduction aux données dans HDFS MapReduce Framework et YARN Apache hue : co ... Voir Plus

Le stockage des données sur HDFS


Architecture et installation d'un système HDFS, journal, NameNode, DataNode. Opérations, commandes et gestion des commandes. L'API HDFS Java. Réplication de données. Partage de données sur une architecture HDFS. Introduction Map Reduce Introduction à MapReduce Vue d'ensemble de MapReduce Mapp ... Voir Plus

Transformation des Données : Le langage PIG


Présentation de Pig Mise en pratique "Transformation de données avec Pig" Charger des données semi-structurées Croiser avec des données Hive Sauvegarder le résultat dans HDFS COMPOSITION ET ORDONNANCEMENT DE TRAITEMENTS Présentation d’Oozie Mise en pratique "Création d’un pipeline de traiteme ... Voir Plus

Interroger Hadoop avec du SQL : HIVE


Présentation de Hive Mise en pratique "Manipulation de données avec SQL" Créer un modèle de données Importer des fichiers sources Requêter les données

Spark


Présentation d'Apache Spark Historique du Framework. Les différentes versions de Spark (Scala, Python et Java). Comparaison avec l'environnement Apache Hadoop. Les différents modules de Spark. La Programmation fonctionnelle au sein de Spark Programmer avec les Resilient Distributed Dataset (RD ... Voir Plus

Appache Flink


Introduction Écosystème Flink spark vs Flink les opérations les batch

Traitement des messages avec KAFKA


Introduction à Kafka Passer à l’échelle avec Kafka L’architecture d’un cluster Kafka La ligne de commande Kafka

Travaux Pratiques


• Installation d'une distribution Hadoop • Programmation avec l’API HDFS • Développement MapREduce • Transformation de données avec Pig" • Manipulation de données avec SQL Hive • développement sous Spark

  Elasticsearch

  BIG Data Hortonworks Architecture et intégration

© Copyright All Rights Reserved 2020 | Developed By : Team Formations++