Vous souhaitez suivre cette formation ?

Contactez-nous ! Un expert vous recontactera dans les plus brefs délais.

Les 4 derniers articles du blog

Pourquoi l'école ? Sens, enjeux et transformations en 2025

Découvrez pourquoi l'école reste un pilier fondamental de la société en 2025. Analyse des enjeux, évolutions pédagogiques, missions et défis des systèmes éducatifs contemporains.

Allan Busi

30 juin 202413 min

Comment une TPE peut bénéficier de la VAE en 2025 ?

Découvrez comment les très petites entreprises (TPE) peuvent tirer pleinement parti de la Validation des Acquis de l'Expérience (VAE) en 2025 pour booster leurs compétences, fidéliser leurs salariés et renforcer leur positionnement concurrentiel.

Allan Busi

30 juin 202413 min

Quelles seront les compétences clés à maîtriser en 2025 ?

Découvrez les tendances majeures des compétences à acquérir et développer en 2025 pour rester compétitif sur le marché du travail, entre transformation digitale, soft skills et upskilling continu.

Allan Busi

30 juin 202415 min

Quels sont les 10 meilleurs e-learning en 2025 ? Analyse et Tendances

Découvrez le classement 2025 des 10 meilleures plateformes e-learning et leurs innovations, pour booster votre formation professionnelle.

Allan Busi

30 juin 202415 min

Voir tous les articles

Objectifs de la formation

Comprendre les concepts fondamentaux de l'orchestration de workflows de données avec Apache Airflow

Installer, configurer et déployer une instance Airflow en production

Créer, planifier et surveiller des DAGs efficaces et maintenables

Interagir avec des bases de données, APIs, et intégrer Airflow dans des écosystèmes Data existants

Implémenter des bonnes pratiques de développement, de sécurité et d’automatisation

Programme

Jour 1Introduction à l’Orchestration de Workflows avec Apache Airflow

Présentation de l'orchestration de workflows, cas d’usage d’Apache Airflow, architecture générale, composants clés (Scheduler, Webserver, Worker), compréhension du concept de DAG et de tâches. Installation pas à pas sur différents environnements (Docker, Virtualenv, Cloud), premiers pas dans l’UI Airflow. Prise en main des bases : configuration, connexion de base de données et exploration de l’interface utilisateur pour le monitoring.

Jour 2Création, Planification et Surveillance de DAGs

Écriture et optimisation de DAGs en Python, gestion des dépendances entre tâches, planification, calendrier (scheduling), gestion des erreurs (retry, alerting), paramètres d’exécution. Utilisation avancée de l’UI pour monitorer les workflows, logs détaillés et troubleshooting. Intégration avec des bases de données variées (PostgreSQL, MySQL), gestion de variables et connexions. Introduction à la modularité et au partage de code entre DAGs. Exercices pratiques sur des cas d’automatisation réels (insertion de données, traitements batch, etc.).

Jour 3Airflow en Production : Bonnes Pratiques, Sécurité, Intégrations et Déploiement

Structuration des projets Airflow pour la production. Déploiement d’Airflow sur Cloud (GCP, AWS, Azure) et gestion de l’infrastructure appropriée (Kubernetes, Docker Compose). Sécurisation des workflows et de l’accès à l’interface utilisateur. Mises à jour auto et gestion centralisée des logs. Intégration avancée (Slack, APIs externes, S3, BigQuery, Spark, Hadoop). Test et versionning des DAGs. Mise en place de workflows complexes (sous-DAGs, branches, sensors). Optimisation des performances, parallélisation des tâches, gestion de la scalabilité et monitoring de la charge de travail. Étude de cas concret d’industrialisation de pipelines de données.

Méthode d'évaluation

Réalisation pratique d'un projet de pipeline de données automatisé avec Airflow
QCM en fin de formation
Validation par études de cas

Méthode d'apprentissage

Cours interactifs en visioconférence
Démonstrations techniques en temps réel
Exercices et mises en situation sur environnements cloud et locaux
Support de cours et codes sources fournis

Chargement en cours...

Vous souhaitez suivre cette formation ?

Les 4 derniers articles du blog

Pourquoi l'école ? Sens, enjeux et transformations en 2025

Comment une TPE peut bénéficier de la VAE en 2025 ?

Quelles seront les compétences clés à maîtriser en 2025 ?

Quels sont les 10 meilleurs e-learning en 2025 ? Analyse et Tendances

Maîtriser Apache Airflow : Orchestration de Workflows Data pour les professionnels

Objectifs de la formation

Programme

Méthode d'évaluation

Méthode d'apprentissage

Ces formations pourraient vous plaire

Maîtriser Apache Airflow pour l'Orchestration de Workflows de Données

Devenir Expert en Orchestration de Workflows de Données avec Apache Airflow : de l’Installation à l’Automatisation Avancée

Maîtrisez Apache Airflow : Orchestration Efficace de Workflows de Données

Maîtrisez Apache Airflow : Orchestration Professionnelle de Workflows ETL