Formation Data Analyse Pig, Hive et Spark

Introduction

• Introduction au Big Data - Comprendre les concepts clés et les enjeux du Big Data
• Introduction à Hadoop – Principales distributions de Hadoop
• La plateforme Hadoop

Architecture et composants de la plateforme Hadoop

• HDFS
• NameNode / DataNode / RessourceManager
• Paradigme MapReduce et YARN
• Les technologies émergentes

Traitement des données avec Pig

• Description et caractéristiques de Pig : Présentation Pig, Différence entre Pig et MapReduce, Cas d'utilisation de Pig
• Traitement des données : Modélisation des données, Programmation avec Pig Latin, Transformations dans la syntaxe Pig Latin, Fonctions de chargement et de stockage
• Travaux pratiques

Requêtage des données avec Hive

• Description et caractéristiques de Hive
• Utilisation de Hcatalog
• Analyse des données avec Hive
• Management des données Hive : Formats de données Hive, Création des bases de données et des tableaux de management, Tableaux auto-managés, Simplification des requêtes avec Views, Stockage des résultats de requêtes, Contrôle ‘accès aux données
• Traitement de texte avec Hive : Fonctions String, Utilisation des expressions habituelles dans Hive

Apache Spark SQL

• Présentation générale 
• Caractéristiques – Architecture
• Les bases de Spark
• DataFrame et DataSets
• Les RDD
• Le SQL Contexte
• Opérations sur le DataFrames et les DataSets
• Comparaison entre Spark SQL et Hive 

• Avoir des connaissances sur les systèmes d'information, les bases de données et les concepts de programmation.

Horaires

• Formation de 9h00 (9h30 le premier jour) à 17h30.
• Deux pauses de 15 minutes le matin et l'après-midi.
• 1 heure de pause déjeuner

DEROULEMENT

• Les horaires de fin de journée sont adaptés en fonction des horaires des trains ou des avions des différents participants.
• Une attestation de suivi de formation vous sera remise en fin de formation.
• Cette formation est organisée pour un maximum de 14 participants.