Organisme de formation français
Formateurs en France · certifié QualiopiÉligible OPCO et FNE-FormationDevis sous 48 h
← Retour

Formation TensorRT-LLM - Optimiser l'inférence LLM en production

Réf. : GSV644
10 personnes max.
À partir de 5600€ HT / par personne
Paiement en 3 fois · Présentiel sur devis · +450€ avec passage de certification
4 journées
distanciel

Partagez en 2 clics

EquansEDFPhotowattAptarArcelorMittalUbisoftINSEECLa PlateformeCESIEFREIEPSIINGETISMy Digital SchoolYnovEquansEDFPhotowattAptarArcelorMittalUbisoftINSEECLa PlateformeCESIEFREIEPSIINGETISMy Digital SchoolYnov

Objectifs de la formation

  • Maîtriser TensorRT-LLM pour accélérer l'inférence des LLM en production professionnelle
  • Développer des engines TensorRT optimisés pour des compétences certifiantes en entreprise
  • Implémenter des techniques de quantification et fusion de couches avec TensorRT-LLM
  • Concevoir des pipelines d'inférence scalables et performants pour applications IA
  • Optimiser les performances GPU avec des kernels custom et profiling avancé
  • Déployer des solutions TensorRT-LLM intégrées à Triton Inference Server
  • Évaluer et tuner les modèles pour minimiser latence et coûts en environnement entreprise

L'histoire de Learni

Fondée par des passionnés de l'apprentissage et de l'innovation, Learni s'est donnée pour mission de rendre la formation professionnelle accessible à tous, partout dans le monde. Notre équipe intervient dans les plus grandes métropoles — Paris, Lyon, Marseille — mais aussi à l'international, pour accompagner les talents et les organisations dans leur montée en compétences.

Ne laissez pas ce retard s'accumuler

Pourquoi cette formation est essentielle

  • Sans maîtrise de TensorRT-LLM, les équipes IA perdent 5x en vitesse d'inférence, entraînant des latences >1s qui font chuter le taux de rétention users de 60%.

  • Les coûts GPU explosent à 10€/million tokens sans optimisation, soit 500k€ annuels gaspillés pour une app de 1M req/jour.

  • En 2024, 82% des projets LLM en prod échouent par manque de perf, bloquant promotions et contrats enterprise.

  • Chaque trimestre sans compétences expert creuse l'écart compétitif face aux leaders IA optimisés.

Allan BUSI
Allan BUSI

Formateur Learni · Expert IA

73%écart de productivité
×3coût de l'inaction

Programme de la formation

Module 1Fondamentaux TensorRT-LLM : installation et build d'engines (NVIDIA Docker, HuggingFace)

Installation complète de l'environnement TensorRT-LLM sur GPU NVIDIA, prise en main des outils Docker et CUDA Toolkit pour créer un premier engine à partir d'un modèle HuggingFace comme Llama-2, exercices pratiques de conversion HF vers TensorRT, vérification des performances initiales avec benchmarks intégrés, génération de rapports de latence et throughput, mise en place d'un projet fil rouge sur un LLM d'entreprise pour mesurer les gains immédiats.

Module 2Optimisation avancée TensorRT-LLM : quantification et fusion (FP8, GEMM plugins)

Exploration des techniques de quantification INT4/INT8/FP8 dans TensorRT-LLM, fusion automatique de couches attention et MLP pour réduire la mémoire GPU, développement de plugins GEMM custom pour accélérer les calculs matricielles, cas pratiques sur des modèles comme Mistral avec tuning des hyperparamètres, profiling avec Nsight Systems pour identifier les bottlenecks, production d'un engine optimisé livrant jusqu'à 3x de speedup, documentation des choix techniques pour réplication en production.

Module 3Déploiement TensorRT-LLM : intégration et scaling (Triton Server, KV cache)

Intégration de TensorRT-LLM avec NVIDIA Triton Inference Server pour des déploiements multi-modèles, gestion du KV cache pour inférences contextuelles longues en streaming, configuration de batching dynamique et tensor parallelism sur clusters GPU, exercices sur scaling horizontal avec Kubernetes, tests de charge avec locust pour simuler 1000+ requêtes/seconde, résolution de cas d'erreurs réels d'entreprise, déploiement d'un service API REST sécurisé prêt pour la prod.

Module 4Performance tuning TensorRT-LLM : profiling et cas réels (Nsight, multi-GPU)

Analyse approfondie des performances avec NVIDIA Nsight Compute et DCGM pour tuner les kernels TensorRT-LLM, optimisation multi-GPU avec tensor et pipeline parallelism sur des LLM de 70B paramètres, résolution de challenges comme l'Out-Of-Memory via paging et swapping intelligents, ateliers sur cas concrets d'entreprise comme chatbots scalables, finalisation du projet fil rouge avec Q&A en direct, évaluation des gains finaux (latence <50ms, coût réduit de 70%), remise de templates réutilisables certifiants.

Méthode d'évaluation

  • QCM technique sur TensorRT-LLM et ses optimisations
  • Évaluation pratique par développement d'un engine custom
  • Soutenance du projet fil rouge avec mesure de performances

Méthode d'apprentissage

  • Cours animés par un formateur expert NVIDIA en activité
  • Exercices pratiques sur cas d'entreprise LLM réels
  • Projet fil rouge progressif sur 4 jours
  • Support de cours complet et codes sources remis

Modalités, méthodes et moyens pédagogiques

La formation Formation TensorRT-LLM - Optimiser l'inférence LLM en production est délivrée en présentiel ou distanciel (blended-learning, classe virtuelle, présentiel à distance). Chez Learni, organisme de formation certifié Qualiopi, chaque parcours est conçu pour maximiser l'acquisition de compétences, quel que soit le mode de formation choisi.

Le formateur alterne entre méthode démonstrative, interrogative et active (via des travaux pratiques et/ou des mises en situation). Cette approche pédagogique garantit un apprentissage concret et directement applicable en entreprise.

Moyens pédagogiques requis

Pour le bon déroulement de la formation Formation TensorRT-LLM - Optimiser l'inférence LLM en production, les moyens pédagogiques suivants sont nécessaires :

  • Ordinateurs Mac ou PC, connexion internet haut débit fibre, tableau blanc ou paperboard, vidéoprojecteur ou écran tactile interactif (pour les sessions en distanciel)
  • Environnements de formation installés sur les postes de travail ou accessibles en ligne
  • Supports de cours, exercices pratiques et ressources complémentaires
  • Accès post-formation aux supports et ressources pédagogiques

En cas de formation intra-entreprise sur site externe à Learni, le client s'assure et s'engage à disposer de toutes les ressources matérielles pédagogiques nécessaires (équipements informatiques, connexion internet…) au bon déroulement de l'action de formation conformément aux prérequis indiqués dans le programme de formation communiqué.

* nous consulter pour la faisabilité en distanciel** ratio variable selon la formation suivie

Modalités d'évaluation des acquis

L'évaluation des compétences acquises lors de la formation Formation TensorRT-LLM - Optimiser l'inférence LLM en production s'effectue à travers :

  • En cours de formation : études de cas, travaux pratiques et mises en situation professionnelle
  • En fin de formation : questionnaire d'auto-évaluation et évaluation des acquis par le formateur
  • Après la formation : attestation de fin de formation détaillant les compétences acquises

Accessibilité de la formation

Learni s'engage pour l'accessibilité de ses formations professionnelles. Toutes nos formations sont accessibles aux personnes en situation de handicap. Nos équipes sont à votre disposition pour adapter les modalités pédagogiques à vos besoins spécifiques. N'hésitez pas à nous contacter pour toute demande d'aménagement.

Modalités et délais d'accès à la formation

Les formations Learni sont disponibles en inter-entreprise et intra-entreprise, en présentiel comme en distanciel. Les inscriptions sont possibles jusqu'à 48 heures ouvrées avant le début de la formation. Nos formations sont éligibles aux financements OPCO, Pôle emploi et FNE-Formation. Contactez-nous pour étudier ensemble votre projet de formation et les possibilités de prise en charge.

Avis vérifiés

Ils ont suivi nos formations

4,9 · +100 avis vérifiés
★★★★★

« cool, j'ai appris des trucs »

TomFormation AWS — Cloud Practitioner
★★★★★

« j'etais perdu au debut mais Ramy Saharaoui m'a pas laché, il a pris le temps. merci vraiment »

Eva CarpentierFormation LLM en Entreprise — Claude, ChatGPT, Mistral
★★★★★

« la formation dev etait intense mais grave bien. merci Anthony Khelil »

NolanDWWM - Développeur Web et Web Mobile
★★★★★

« 😊👍 »

AmbreDWWM - Développement Web & Mobile React
★★★★★

« bien 👍 »

Léo BlanchardFormation AWS — DevOps Engineer Professional
★★★★★

« Allan Busi t'es au top, continue comme ça. formation géniale »

MargotFormation Claude & ChatGPT — Comparatif et Cas d'Usage
★★★★★

« cool, j'ai appris des trucs »

TomFormation AWS — Cloud Practitioner
★★★★★

« j'etais perdu au debut mais Ramy Saharaoui m'a pas laché, il a pris le temps. merci vraiment »

Eva CarpentierFormation LLM en Entreprise — Claude, ChatGPT, Mistral
★★★★★

« la formation dev etait intense mais grave bien. merci Anthony Khelil »

NolanDWWM - Développeur Web et Web Mobile
★★★★★

« 😊👍 »

AmbreDWWM - Développement Web & Mobile React
★★★★★

« bien 👍 »

Léo BlanchardFormation AWS — DevOps Engineer Professional
★★★★★

« Allan Busi t'es au top, continue comme ça. formation géniale »

MargotFormation Claude & ChatGPT — Comparatif et Cas d'Usage
★★★★★

« cool, j'ai appris des trucs »

TomFormation AWS — Cloud Practitioner
★★★★★

« j'etais perdu au debut mais Ramy Saharaoui m'a pas laché, il a pris le temps. merci vraiment »

Eva CarpentierFormation LLM en Entreprise — Claude, ChatGPT, Mistral
★★★★★

« la formation dev etait intense mais grave bien. merci Anthony Khelil »

NolanDWWM - Développeur Web et Web Mobile
★★★★★

« 😊👍 »

AmbreDWWM - Développement Web & Mobile React
★★★★★

« bien 👍 »

Léo BlanchardFormation AWS — DevOps Engineer Professional
★★★★★

« Allan Busi t'es au top, continue comme ça. formation géniale »

MargotFormation Claude & ChatGPT — Comparatif et Cas d'Usage
Voir tous les avis
Notre méthode

La qualité de la formation, garantie à chaque étape

Avant, pendant, après : on cadre, on présente le formateur, on adapte le contenu et on mesure l'impact. Vous gardez la main du début à la fin.

Étape 1

Sélection rigoureuse du formateur

Chaque formateur est validé sur trois critères : expertise métier en exercice, pédagogie éprouvée et alignement avec votre secteur.

  • Triple validation : technique, pédagogique, sectorielle.
  • Note minimale 4,8/5 sur les 12 dernières sessions.
Étape 2

Vous rencontrez le formateur avant

Visio de 30 minutes entre vous et le formateur retenu pour valider l'alignement, ajuster le contenu et lever les derniers doutes.

  • Briefing live des objectifs et du contexte d'équipe.
  • Veto possible — on remplace gratuitement si besoin.
Étape 3

Contenu adapté à votre contexte

Pas de slides recyclées. Le syllabus est retravaillé à partir de vos cas réels : outils, contraintes, vocabulaire, projets en cours.

  • Cas pratiques issus de votre stack et de vos projets.
  • Programme co-écrit puis validé par votre équipe.
Étape 4

Suivi qualité continu

Évaluations à chaud, à 30/90/180 jours et plan de consolidation. Si la formation n'a pas l'impact prévu, on retravaille.

  • NPS, quiz d'acquis et auto-évaluation des compétences.
  • Engagement satisfaction : 100 % satisfait ou refonte gratuite.

Une promesse simple : vous ne payez pas pour découvrir le formateur le jour J. Tout est validé en amont, par vous.

FAQ

Questions fréquentes

Quel est le prix de la formation Formation TensorRT-LLM - Optimiser l'inférence LLM en production ?+
Le tarif individuel est de 5600€ HT. Un devis détaillé est fourni sous 48 h.
Quelle est la durée de la formation Formation TensorRT-LLM - Optimiser l'inférence LLM en production ?+
La formation dure 4 journées, en distanciel.
Cette formation est-elle finançable ?+
Oui. Learni est certifié Qualiopi (NDA 11 77 08678 77), la formation est donc éligible aux financements OPCO, au dispositif FNE-Formation, à France Travail et au financement direct par l'entreprise.
Y a-t-il des prérequis ?+
Expertise en PyTorch/TensorFlow, programmation CUDA et déploiement de modèles LLM comme Llama ou GPT
Une attestation est-elle délivrée à la fin ?+
Oui. Une attestation de fin de formation Learni est délivrée, accompagnée du bilan individuel d'évaluation.
Learni fournit-il le matériel ?+
Non. Un ordinateur et une connexion internet stable sont requis pour le participant. Learni assure la plateforme pédagogique, le formateur et l'ensemble des supports de cours.
Présentiel & distanciel

Cette formation dans votre ville

Disponible en présentiel et à distance. Choisissez votre ville pour accéder au centre de formation local.

Votre formation professionnelle partout

Construisons
votre prochain
parcours.

30 minutes avec un conseiller formation. Sans engagement. Sans argumentaire commercial maquillé en démo.

Réponse sous 24 h · Qualiopi · OPCO
WhatsApp