← Retour Découvrir la catégorie MLOps & industrialisation IA

Formation MLflow pour LLM & Online evals - Maîtriser suivi LLM

Fiche créée le 29 octobre 2026Mise à jour le 7 novembre 2026

Formation d'expertise · Niveau minimum requis

7 500 € HT

5 journées
présentiel
10 personnes max.

Demander un devis Voir le programme

Réf. : LOH315

10 personnes max.

7 500 € HT

Tarif intra-entreprise : à partir de 13 500 € HT pour tout le groupeTarif expertise : 1 500 € HT la journée, lié au niveau de difficulté

Présentiel et passage de certification sur devis

5 journées

présentiel

Ne laissez pas ce retard s'accumuler

Pourquoi cette formation est essentielle

Sans traçabilité centralisée des LLM, les équipes perdent la visibilité sur les versions déployées et les coûts associés.
D'après les observations internes sur 80+ entreprises, 60 % des incidents LLM proviennent d'un changement non tracé.
Le risque opérationnel augmente et les cycles de correction s'allongent.
Les data scientists peinent alors à justifier les choix techniques auprès des décideurs.

Ils nous font confiance — écoles, entreprises et groupes industriels

42 333 formations · 25 pays

On propose des formations avec un ingénieur dédié

Entreprises : Aptar, ArcelorMittal, Equans, Biocoop, Solocal, EDF, Photowatt, Ubisoft, Microsoft, Chronopost, RATP, Vanatome et Atos. Écoles partenaires : CESI, École IT, EFREI, EPSI, INGETIS, INSEEC, La Plateforme, My Digital School et Ynov.

Objectifs de la formation MLflow pour LLM & Online evals

Maîtriser la formation MLflow pour LLM & Online evals 2026 afin de tracer et évaluer les modèles de langage en continu
Déployer un registre MLflow centralisé pour les versions de LLM et leurs métadonnées
Automatiser les évaluations en ligne avec des métriques de qualité et de latence
Optimiser la détection de drift sur les sorties LLM via des seuils configurables
Piloter les mises à jour de serving sans interruption grâce aux expériences MLflow

Programme

Programme MLflow pour LLM & Online evals : 5 modules sur 5 journées

Module 1 : Traçabilité des LLM avec MLflow (MLflow Tracking, MLflow Models)

Installation d'un serveur MLflow partagé, création de runs pour chaque appel LLM, enregistrement des prompts, tokens et coûts. Les participants connectent un endpoint OpenAI simulé, comparent plusieurs configurations et exportent un tableau de bord réutilisable pour l'équipe.

Module 2 : Évaluations en ligne avec MLflow (MLflow Evaluate, Prometheus)

Mise en place d'une boucle d'évaluation continue qui interroge le modèle en production toutes les heures. Configuration de métriques de groundedness et de cohérence, puis stockage des scores dans MLflow pour comparaison historique. Exercice sur un jeu de 500 requêtes réelles.

Module 3 : Monitoring de drift LLM dans MLflow (MLflow Registry, Evidently)

Détection automatique de dérive sémantique et de distribution des tokens. Les participants créent des alertes lorsque le score de similarité descend sous un seuil défini et relient ces alertes au registre MLflow pour déclencher une réévaluation.

Voir cette formationFormation Langfuse & DeepEval

Module 4 : Serving et A/B testing via MLflow (MLflow Deployment, Seldon)

Déploiement de deux versions d'un même LLM derrière un routeur, enregistrement des métriques de chaque variante dans MLflow. Analyse des résultats d'évaluation en ligne pour choisir la version gagnante et mise à jour du modèle en production sans downtime.

Module 5 : Industrialisation du pipeline MLflow pour LLM (MLflow Projects, Airflow)

Orchestration complète d'un pipeline qui ingère les logs, lance les évaluations, met à jour le registre et notifie l'équipe. Les participants livrent un dépôt Git contenant le projet MLflow, le DAG Airflow et la configuration des seuils d'alerte.

Voir cette formationFormation Canary release & Multi-tenancy

Comment sont évalués les acquis en MLflow pour LLM & Online evals

QCM de 20 questions sur les concepts MLflow appliqués aux LLM
Exercice pratique final : déploiement d'un pipeline complet avec évaluations en ligne
Revue collective du livrable produit pendant la formation

Méthode pédagogique de la formation MLflow pour LLM & Online evals

Créer et versionner des expériences MLflow pour des appels LLM
Configurer des évaluations automatisées et les stocker dans le registre
Définir des seuils de drift et des alertes opérationnelles
Intégrer MLflow à un orchestrateur existant pour les mises à jour continues

Modalités d'accès à la formation MLflow pour LLM & Online evals

La formation Formation MLflow pour LLM & Online evals - Maîtriser suivi LLM est délivrée en présentiel ou distanciel (blended-learning, classe virtuelle, présentiel à distance). Chez Learni, organisme de formation certifié Qualiopi, chaque parcours est conçu pour maximiser l'acquisition de compétences, quel que soit le mode de formation choisi.

Le formateur alterne entre méthode démonstrative, interrogative et active (via des travaux pratiques et/ou des mises en situation). Cette approche pédagogique garantit un apprentissage concret et directement applicable en entreprise.

Moyens pédagogiques requis

Pour le bon déroulement de la formation Formation MLflow pour LLM & Online evals - Maîtriser suivi LLM, les moyens pédagogiques suivants sont nécessaires :

Ordinateurs Mac ou PC, connexion internet haut débit fibre, tableau blanc ou paperboard, vidéoprojecteur ou écran tactile interactif (pour les sessions en distanciel)
Environnements de formation installés sur les postes de travail ou accessibles en ligne
Supports de cours, exercices pratiques et ressources complémentaires
Accès post-formation aux supports et ressources pédagogiques

En cas de formation intra-entreprise sur site externe à Learni, le client s'assure et s'engage à disposer de toutes les ressources matérielles pédagogiques nécessaires (équipements informatiques, connexion internet…) au bon déroulement de l'action de formation conformément aux prérequis indiqués dans le programme de formation communiqué.

* nous consulter pour la faisabilité en distanciel** ratio variable selon la formation suivie

Modalités d'évaluation des acquis

L'évaluation des compétences acquises lors de la formation Formation MLflow pour LLM & Online evals - Maîtriser suivi LLM s'effectue à travers :

En cours de formation : études de cas, travaux pratiques et mises en situation professionnelle
En fin de formation : questionnaire d'auto-évaluation et évaluation des acquis par le formateur
Après la formation : attestation de fin de formation détaillant les compétences acquises

Accessibilité de la formation

Learni s'engage pour l'accessibilité de ses formations professionnelles. Toutes nos formations sont accessibles aux personnes en situation de handicap. Nos équipes sont à votre disposition pour adapter les modalités pédagogiques à vos besoins spécifiques. N'hésitez pas à nous contacter pour toute demande d'aménagement.

Modalités et délais d'accès à la formation

Les formations Learni sont disponibles en inter-entreprise et intra-entreprise, en présentiel comme en distanciel. Les inscriptions sont possibles jusqu'à 48 heures ouvrées avant le début de la formation. Nos formations sont éligibles aux financements OPCO, France Travail, FNE-Formation et CSP (contrat de sécurisation professionnelle). Contactez-nous pour étudier ensemble votre projet de formation et les possibilités de prise en charge.

L'histoire de Learni

Fondée par des passionnés de l'apprentissage et de l'innovation, Learni s'est donnée pour mission de rendre la formation professionnelle accessible à tous, partout dans le monde. Notre équipe intervient dans les plus grandes métropoles — Paris, Lyon, Marseille — mais aussi à l'international, pour accompagner les talents et les organisations dans leur montée en compétences.

Témoignages

Ce qu'ils disent
de nous.

★★★★★ Avis Google

★★★★★

« Learni a co-conçu notre programme IA pour 200 collaborateurs. Sélection rigoureuse, intervenants experts et accompagnement post-formation. Résultat : 92 % des apprenants ont mis en application en moins de 30 jours, et un ROI mesuré à +180 % sur le premier semestre. »

Julien BiancoDirectrice Formation

AFCI

★★★★★

« Nous avons confié à Learni la création de notre nouveau cycle. Allan sélectionne désormais nos formateurs : contenus pertinents et fort engagement. Apprenants très satisfaits et offre éducative renforcée. »

Thibaut AiméDirecteur Général

INGETIS

★★★★★

« En tant que Responsable pédagogique, j'ai été conquis par la réactivité et le professionnalisme de Learni : sélection rigoureuse des formateurs, suivi exemplaire et impact concret sur nos cohortes. »

Arnaud ParadisResponsable pédagogique

École IT

Notre méthode

Comment Learni garantit la qualité de votre formation MLflow pour LLM & Online evals

Avant, pendant, après : on cadre, on présente le formateur, on adapte le contenu et on mesure l'impact. Vous gardez la main du début à la fin.

Étape 1

Sélection rigoureuse du formateur

Chaque formateur est validé sur trois critères : expertise métier en exercice, pédagogie éprouvée et alignement avec votre secteur.

Triple validation : technique, pédagogique, sectorielle.
Note minimale 4,8/5 sur les 12 dernières sessions.

Étape 2

Vous rencontrez le formateur avant

Visio de 30 minutes entre vous et le formateur retenu pour valider l'alignement, ajuster le contenu et lever les derniers doutes.

Briefing live des objectifs et du contexte d'équipe.
Veto possible — on remplace gratuitement si besoin.

Étape 3

Contenu adapté à votre contexte

Pas de slides recyclées. Le syllabus est retravaillé à partir de vos cas réels : outils, contraintes, vocabulaire, projets en cours.

Cas pratiques issus de votre stack et de vos projets.
Programme co-écrit puis validé par votre équipe.

Étape 4

Suivi qualité continu

Évaluations à chaud, à 30/90/180 jours et plan de consolidation. Si la formation n'a pas l'impact prévu, on retravaille.

NPS, quiz d'acquis et auto-évaluation des compétences.
Engagement satisfaction : 100 % satisfait ou refonte gratuite.

Une promesse simple : vous ne payez pas pour découvrir le formateur le jour J. Tout est validé en amont, par vous.

Un enfant sur le chemin de l'école avec son cartable

Engagement solidaire

Un kit scolaire offert à un enfant pour chaque formation réservée

Pour lutter contre les inégalités d'accès à l'éducation, Learni offre un kit scolaire complet à un enfant dans le besoin pour chaque formation réservée. Vous montez en compétence, un enfant prend le chemin de l'école.

Cartable, cahiers et fournitures essentielles
Distribué via nos associations partenaires
Inclus, sans surcoût pour vous

M'inscrire et offrir un kit

FAQ

Questions fréquentes sur MLflow pour LLM & Online evals

Quels outils sont utilisés pendant la formation MLflow pour LLM ?+

Les outils utilisés pendant la formation MLflow pour LLM sont MLflow Tracking 2.11, MLflow Models et Evidently pour les métriques de drift. Les participants connectent un endpoint simulé et configurent des alertes Prometheus. Cette stack permet d'obtenir des tableaux de bord directement exploitables par les équipes de production.

Faut-il un cluster Kubernetes pour suivre les évals en ligne ?+

Un cluster Kubernetes n'est pas obligatoire pour suivre les évals en ligne avec MLflow. Un serveur MLflow unique suffit pour les premiers déploiements. Les participants apprennent ensuite à scaler le registre et les jobs d'évaluation sur un petit cluster quand le volume de requêtes augmente.

Comment MLflow gère-t-il le drift sur les sorties LLM ?+

MLflow gère le drift sur les sorties LLM en stockant les embeddings et les scores de similarité à chaque évaluation. Des seuils configurables déclenchent des alertes quand la distribution change. Les participants testent ce mécanisme sur un jeu de données réel pendant la formation.

Quelle différence existe-t-il avec Langfuse pour les évaluations ?+

La différence avec Langfuse réside dans l'intégration native du registre MLflow et des projets Airflow. MLflow centralise à la fois les expériences et les métriques de serving alors que Langfuse se concentre sur l'observabilité des traces. Les deux outils peuvent cohabiter selon l'architecture cible.

Faut-il maîtriser Python pour tracer les LLM dans MLflow ?+

Il n'est pas nécessaire de maîtriser Python pour tracer les LLM dans MLflow : le Tracking Server enregistre les métadonnées via l'API REST. Les notebooks Python servent surtout à lancer les expériences et à versionner les modèles. Les équipes peuvent ainsi centraliser les runs sans coder des scripts complexes. MLflow Projects permet ensuite d'orchestrer ces traces dans des environnements Airflow existants.

Quelle erreur commet-on souvent avec MLflow Registry pour les LLM ?+

L'erreur fréquente avec MLflow Registry pour les LLM consiste à stocker uniquement les poids sans les métadonnées d'évaluation. Le registre doit aussi conserver les prompts, les versions de datasets et les seuils de qualité. Cela évite les mises en production de modèles dont les performances ont dérivé. La formation MLflow pour LLM montre comment lier ces artefacts aux runs de suivi.

Comment intégrer MLflow Evaluate aux pipelines Airflow existants ?+

MLflow Evaluate s'intègre aux pipelines Airflow existants via des opérateurs Python et des hooks MLflow. Les tâches d'évaluation en ligne s'exécutent après chaque mise à jour de modèle servi. Les métriques de latence et de qualité remontent automatiquement dans le Tracking Server. Cette intégration permet un monitoring continu sans dupliquer les DAGs de production.

MLflow Deployment convient-il à un parc Windows pour les LLM ?+

MLflow Deployment fonctionne sur un parc Windows pour les LLM grâce aux conteneurs Docker et aux cibles de déploiement locales. Le serveur de tracking reste indépendant du système d'exploitation des nœuds de serving. Les équipes peuvent ainsi tester les modèles sur des machines Windows tout en conservant Seldon pour la production. La limite reste l'absence de support natif pour certains runtimes GPU sous Windows.

La formation MLflow pour LLM s'adresse-t-elle aux ingénieurs MLOps ?+

La formation MLflow pour LLM s'adresse aux ingénieurs MLOps qui gèrent déjà des pipelines de modèles. Elle couvre le registre centralisé, les évaluations en ligne et la détection de drift avec Evidently. Les data scientists y trouvent aussi des méthodes pour versionner les prompts et les métriques. Les rôles DevOps y gagnent la maîtrise du serving A/B testing via Seldon.

Que permet de faire Evidently après la formation MLflow pour LLM ?+

Evidently permet, après la formation MLflow pour LLM, de configurer des seuils de dérive sur les sorties des modèles en production. Les rapports de drift s'alimentent directement depuis les expériences MLflow Registry. Les alertes automatisées déclenchent alors des réentraînements ou des rollbacks. Cette étape complète le monitoring continu sans ajouter d'outils externes supplémentaires.

Quel est le prix de la formation MLflow pour LLM & Online evals ?+

La formation MLflow pour LLM & Online evals coûte 7 500 € HT par participant. En intra-entreprise, le forfait démarre à 13 500 € HT pour tout le groupe, jusqu'à 8 personnes. Le devis détaillé, envoyé sous 24 h, ajuste le montant au format et à l'adaptation du programme à votre contexte.

Quelle est la durée de la formation MLflow pour LLM & Online evals ?+

5 journées, en présentiel. Un découpage en demi-journées étalées sur plusieurs semaines est possible pour ne pas désorganiser l'équipe.

Votre formation professionnelle partout