Formation Talend Open Studio Data Integration, Les bases et Perfectionnement

Introduction

• Problématique d'intégration de données
• IntégrationOpérationnelle et Décisionnelle
• Outils ETL (Extract TransformLoad) disponibles
• Talend Open Studio : présentation, licences,lien avec Eclipse
• Support disponible : documentation, communauté,…
• Atelier : Installation et présentation de l'environnementTalend Open Studio

Découvrir l'interface

• Les perspectives et les vues Talend
• Utilisation du BusinessModeler
• Les jobs : grille, palette de composants
• Les fluxprincipaux (main)
• La notion de schéma : types descolonnes
• Premiers composants : entrée, sortie, générationde flux
• Atelier pratique : création et exécution d'un jobsimple, génération de contenu dans un fichier

Les principaux composants de Talend

• Composants d'entrée (tFileInput,tMysqlInput, …)
• Génération de contenu (tRowGenerator,tFixedFlowInput, ...)
• Sorties et affichage (tLogRow, tFileOutput,tMysqlOutput, …)
• Logique et chaînage des composants
• Suivipas à pas des traces de l'exécution du job
• Gestion desrejets
• Transformations simples (filtre, tri, remplacement,jointure)
• Atelier pratique : génération de contenu dans une basede données, extraction et traitement des données pour affichage enconsole

Garantir la pérennité des jobs

• Versionset statuts des jobs
• Les métadonnées :propriétés et schémas.
• Ladécouverte de schéma pour les fichiers CSV
• Récupération desschémas de bases de données
• Mises à jour des jobs depuis lesmétadonnées
• Atelier pratique : insérer les sources et cibles dedonnées dans les métadonnées du référentiel

Variables et contextes

• Utiliser des variables dans unjob (tSetGlobalVar)
• Mise en place d'un contexte localau job
• Groupes decontexte dans le référentiel
• Les métadonnées comme contextes
• Atelier pratique : utiliser une variable dans un job,contextualiser les paramètres d'une métadonnées, créer uncontexte de test, et de production

Le mappage de données : tMap

• Le composant ETL par excellence
• Gérer les entrées : fluxprincipal, secondaires, nommage des flux
• Gérer les sorties :l'éditeur intégré de la tMap
• Filtrer les données : enentrée, sortie
• Sorties conjointes, capture des rejets de sortie,de jointure interne
• L'éditeur d'expression
• Les performances
• Atelier pratique : extraction multi-sources,multi-destinations avec une tMap, sur un exemple complet

Orchestration des jobs, gestion d'erreurs

• Exécutions parallèles desous-jobs
• DéclencheursTalend (triggers)
• Enchaînementde sous-jobs et de composants (OnSubjobOK, OnComponentOK)
• Gestiondes erreurs de composants, sous-job (OnComponentError,OnSubjobError)
• Composantde départ, et de fin (tPreJob, tPostJob)
• Attraperet lever des erreurs : tWarn, tDie, tLogCatcher
• Atelier pratique : assembler plusieurs jobs en un seul,factoriser la gestion d'erreurs pour générer un fichier decompte-rendu

Les flux de programmation : liens iterate

• Différencier les fluxprincipaux des flux iterate
• Boucles et programmation via tLoop,tForeach
• Passer d'un flux principal à un flux iterate, etl'inverse (tFlowToIterate, tIterateToFlow)
• Synchronisationde jobs avec les tWaitForFile, tWaitForSocket, tWaitForSQL
• Atelier pratique : paralléliser des sous-jobs,synchroniser les jobs avec un événementexterne

Utilisation avancée

• Utilisation de composantsévolués : Java ou expressions régulières
• Laspécificité des flux XMLdans Talend
• Réutilisationdu code : les routines
• Atelier : Utilisation des composants tJavaRow,tJavaFlex, utilisation de l'éditeur Java embarqué, déploiementd'une routine personnalisée

Déboguage dans Talend

• Rappels sur le débogage de traces
• Utilisation du mode DebugJava : perspective Debug, mode pas à pas
• Visualisation etmodification à chaud des variables
• Atelier : Debuggage basique/avancé de tâches

Déploiement et industrialisation

• Rappel sur les contextes
• Export des jobs pour exécution sur unserveur
• Passage de contexte entre jobs, à l'exécution
• Utilisationd'un fichier pour charger le contexte (tContextLoad)
• Atelier : Déploiement de tâches et chargement dynamique du contexte

Utilisation avancée

• Utilisation de composants évolués : Java ou expressionsrégulières
• Création de logs spécifiques
• Gestion des fluxXML
• Réutilisation du code
• Atelier : Utilisation des composants tJavaRow, tJavaFlex -création de logs avec tCatch, tDie ... - utilisation de l'éditeurJava embarqué

Les composants Talend

• Concepts essentiels pour étendre Talend Open Studio
• Créationde la maquette du composant avec tJavaFlex / interfacegraphique
• Découvrir la forge Talend et ses composantscommunautaires
• Intégration dans Talend Open Studio des pluginscréés ou téléchargés
• Atelier : Création d'uncomposant simple via tJavaFlex, intégration decomposants de la forge Talend

• Connaissance de Java

Horaires

• Formation de 9h00 (9h30 le premier jour) à 17h30.
• Deux pauses de 15 minutes le matin et l'après-midi.
• 1 heure de pause déjeuner

DEROULEMENT

• Les horaires de fin de journée sont adaptés en fonction des horaires des trains ou des avions des différents participants.
• Une attestation de suivi de formation vous sera remise en fin de formation.
• Cette formation est organisée pour un maximum de 14 participants.