Formation Introduction à Spark

Introduction à Hadoop

• L'ère du Big Data
• Architecture et composants de la plateforme Hadoop
• HDFS
• NameNode / DataNode / RessourceManager
• Paradigme MapReduce et YARN

Introduction à Spark

• Qu'est-ce que Spark ?
• Spark vs MapReduce
• Fonctionnement : RDD, DataFrames, Data Sets
• Comment interagir avec Spark
• PySpark : programmer avec Spark en Python

Manipulation des données

• Formats basiques (fichiers textes, JSON, CSV, SequencesFiles, fichiers compressés)
• Interagir avec des sources de données externes : connecteurs Hive, JDC, Hbase, ElasticSearch, …

Spark Streaming

• Introduction à Spark Streaming
• La notion de « DStream »
• Principales sources de données
• Utilisation de l'API
• Manipulation des données

Spark SQL

• Initiation à Spark SQL
• Création de DataFrames
• Manipulation des DataFrames (opérations basiques,  agrégations & Groupby, Missing Data)
• Chargement et stockage de données (avec Hive, JSON, etc…)

Spark ML avec MLlib

• Modélisation Statistique & Apprentissage
• Types de données (Vector / LabeledPoint / Model)
• Préparation des données
• Utilisation d'algorithme de MLlib (k-means / Régression logistique / arbre de discrimination / forêt aléatoire)
• Exemple de création d'un modèle et de son évaluation avec Spark MLlib sur un jeu de données

GraphX et GraphFrames

• Présentation de GraphX
• Principe de création des graphes
• API GraphX
• Présentation GraphFrames
• GraphX vs GraphFrames

Travaux pratiques

• Alternance d'apports théoriques, d'exercices pratiques et de mise en situation sous forme de travaux pratiques permettant de tester les différentes notions abordées avec le langage Python

• Une première expérience en programmation Python, avoir des connaissances en SQL, avoir des connaissances en mathématiques et statistiques.

Horaires

• Formation de 9h00 (9h30 le premier jour) à 17h30.
• Deux pauses de 15 minutes le matin et l'après-midi.
• 1 heure de pause déjeuner

DEROULEMENT

• Les horaires de fin de journée sont adaptés en fonction des horaires des trains ou des avions des différents participants.
• Une attestation de suivi de formation vous sera remise en fin de formation.
• Cette formation est organisée pour un maximum de 14 participants.