🎁Azure · AWS · Google — 1 certification offerte par personne formée, jusqu'à 360 €.En profiter →
← Retour

Formation TensorRT-LLM - Accélérer l'inférence LLM x10 en production

Réf. : NFF267
10 personnes max.
4400€ HT / par personne
−15% dès 2 pers.−30% dès 3 pers.−50% dès 5 pers.
Paiement en 3 fois · +150€/j en présentiel · +450€ avec passage de certification
4 journées
distanciel

Partagez en 2 clics

EquansAptarArcelorMittalUbisoftINSEECLa PlateformeCESIEFREIEPSIINGETISMy Digital SchoolYnovEquansAptarArcelorMittalUbisoftINSEECLa PlateformeCESIEFREIEPSIINGETISMy Digital SchoolYnov

Objectifs de la formation

  • Maîtriser l'installation et la configuration de TensorRT-LLM pour environnements professionnels certifiants
  • Développer des compétences en compilation et optimisation des LLMs pour inférence ultra-rapide
  • Concevoir des pipelines d'inférence scalables adaptés aux besoins d'entreprise en formation IA
  • Implémenter des techniques avancées de quantization et fusion de kernels avec TensorRT-LLM
  • Déployer des serveurs TensorRT-LLM performants en production pour réduire les coûts GPU
  • Optimiser les performances LLMs en intégrant des benchmarks professionnels et cas réels

L'histoire de Learni

Fondée par des passionnés de l'apprentissage et de l'innovation, Learni s'est donnée pour mission de rendre la formation professionnelle accessible à tous, partout dans le monde. Notre équipe intervient dans les plus grandes métropoles — Paris, Lyon, Marseille — mais aussi à l'international, pour accompagner les talents et les organisations dans leur montée en compétences.

Ne laissez pas ce retard s'accumuler

Pourquoi cette formation est essentielle

  • Sans maîtrise de TensorRT-LLM, vos LLMs tournent à 5-10 tokens/s sur GPU, causant des latences client critiques et abandon de 40% des utilisateurs (étude NVIDIA 2024).

  • Les coûts GPU explosent x4 pour inférence non optimisée, grevant les budgets IA des entreprises de millions d'euros annuels.

  • Risquez un retard compétitif face aux rivaux détenant 10x speedup, menaçant promotions et parts de marché.

  • Investissez dès maintenant pour transformer ces pertes en gains massifs de performance et ROI.

Fouzi Benzidane
Fouzi Benzidane

Formateur Learni · Expert

73%écart de productivité
×3coût de l'inaction

Programme de la formation

Module 1Fondamentaux TensorRT-LLM : installation, build d'engins et premiers tests (outils NVIDIA, PyTorch, CUDA)

Découvrez l'installation rapide de TensorRT-LLM sur clusters GPU, configurez les dépendances essentielles avec conda et Docker, construisez vos premiers TensorRT engines à partir de modèles Hugging Face comme Llama ou GPT, testez l'inférence basique via backend Python, analysez les logs de performance pour identifier les goulots, et produisez un rapport initial de speedup, le tout via exercices pratiques guidés pour ancrer les compétences professionnelles dès le premier jour.

Module 2Optimisations avancées TensorRT-LLM : quantization, fusion kernels et tuning (TensorRT plugins, FP8, AWQ)

Plongez dans les techniques de quantization INT4/INT8/FP8 pour réduire la mémoire GPU jusqu'à 4x, fusionnez les kernels attention et MLP avec des plugins custom TensorRT-LLM, tunez les hyperparamètres via scripts automatisés, benchmarkez sur A100/H100 avec Triton Inference Server, implémentez AWQ pour LLMs de 70B paramètres, générez des profils de latence personnalisés, et validez les gains en exercices réels sur datasets professionnels, boostant vos compétences en optimisation entreprise.

Module 3Déploiement TensorRT-LLM : serving scalable et intégration pipelines (Triton, Kubernetes, API gRPC)

Déployez des backends TensorRT-LLM avec Triton Server pour handling concurrent de milliers de requêtes, intégrez dans Kubernetes pour auto-scaling GPU, exposez des APIs REST/gRPC optimisées, gérez le paging KV-cache pour contextes longs, monitorez avec Prometheus et Grafana, testez la résilience sous charge via Locust, produisez des Docker images prêtes production, et simulez des scénarios entreprise en exercices pratiques, assurant une maîtrise certifiante du déploiement haute disponibilité.

Module 4Cas avancés TensorRT-LLM : benchmarks, troubleshooting et projets réels (multi-GPU, MoE, custom ops)

Affinez les performances multi-GPU avec tensor parallelism et pipeline parallelism, implémentez Mixture of Experts sur TensorRT-LLM, déboguez des fuites mémoire et overflows via NVIDIA Nsight, customisez des ops pour domaines spécifiques comme finance ou santé, benchmarkez contre vLLM et Hugging Face TGI, finalisez un projet capstone personnel avec livrable code source et rapport perf, et préparez votre certification via revue pair-à-pair, consolidant des compétences expertes pour l'entreprise.

Méthode d'évaluation

  • Quiz techniques sur optimisations TensorRT-LLM et benchmarks
  • Projet pratique de déploiement serveur inférence scalable
  • Étude de cas réelle avec analyse de performance et rapport

Méthode d'apprentissage

  • Méthodes pratiques avec 70% d'exercices hands-on sur GPUs NVIDIA
  • Accès illimité à labs virtuels et datasets LLMs réels post-formation
  • Vidéos replays et supports PDF pour révision autonome
  • Certification Qualiopi validant compétences expertes en inférence

Modalités, méthodes et moyens pédagogiques

La formation Formation TensorRT-LLM - Accélérer l'inférence LLM x10 en production est délivrée en présentiel ou distanciel (blended-learning, e-learning, classe virtuelle, présentiel à distance). Chez Learni, organisme de formation certifié Qualiopi, chaque parcours est conçu pour maximiser l'acquisition de compétences, quel que soit le mode de formation choisi.

Le formateur alterne entre méthode démonstrative, interrogative et active (via des travaux pratiques et/ou des mises en situation). Cette approche pédagogique garantit un apprentissage concret et directement applicable en entreprise.

Moyens pédagogiques requis

Pour le bon déroulement de la formation Formation TensorRT-LLM - Accélérer l'inférence LLM x10 en production, les moyens pédagogiques suivants sont nécessaires :

  • Ordinateurs Mac ou PC, connexion internet haut débit fibre, tableau blanc ou paperboard, vidéoprojecteur ou écran tactile interactif (pour les sessions en distanciel)
  • Environnements de formation installés sur les postes de travail ou accessibles en ligne
  • Supports de cours, exercices pratiques et ressources complémentaires
  • Accès post-formation aux supports et ressources pédagogiques

En cas de formation intra-entreprise sur site externe à Learni, le client s'assure et s'engage à disposer de toutes les ressources matérielles pédagogiques nécessaires (équipements informatiques, connexion internet…) au bon déroulement de l'action de formation conformément aux prérequis indiqués dans le programme de formation communiqué.

* nous consulter pour la faisabilité en distanciel** ratio variable selon la formation suivie

Modalités d'évaluation des acquis

L'évaluation des compétences acquises lors de la formation Formation TensorRT-LLM - Accélérer l'inférence LLM x10 en production s'effectue à travers :

  • En cours de formation : études de cas, travaux pratiques et mises en situation professionnelle
  • En fin de formation : questionnaire d'auto-évaluation et évaluation des acquis par le formateur
  • Après la formation : attestation de fin de formation détaillant les compétences acquises

Accessibilité de la formation

Learni s'engage pour l'accessibilité de ses formations professionnelles. Toutes nos formations sont accessibles aux personnes en situation de handicap. Nos équipes sont à votre disposition pour adapter les modalités pédagogiques à vos besoins spécifiques. N'hésitez pas à nous contacter pour toute demande d'aménagement.

Modalités et délais d'accès à la formation

Les formations Learni sont disponibles en inter-entreprise et intra-entreprise, en présentiel comme en distanciel. Les inscriptions sont possibles jusqu'à 48 heures ouvrées avant le début de la formation. Nos formations sont éligibles aux financements OPCO, Pôle emploi et FNE-Formation. Contactez-nous pour étudier ensemble votre projet de formation et les possibilités de prise en charge.

Avis vérifiés

Ils ont suivi nos formations

4,9 · +100 avis vérifiés
★★★★★

« cool, j'ai appris des trucs »

TomFormation AWS — Cloud Practitioner
★★★★★

« j'etais perdu au debut mais Ramy Saharaoui m'a pas laché, il a pris le temps. merci vraiment »

Eva CarpentierFormation LLM en Entreprise — Claude, ChatGPT, Mistral
★★★★★

« la formation dev etait intense mais grave bien. merci Anthony Khelil »

NolanDWWM - Développeur Web et Web Mobile
★★★★★

« 😊👍 »

AmbreDWWM - Développement Web & Mobile React
★★★★★

« bien 👍 »

Léo BlanchardFormation AWS — DevOps Engineer Professional
★★★★★

« Allan Busi t'es au top, continue comme ça. formation géniale »

MargotFormation Claude & ChatGPT — Comparatif et Cas d'Usage
★★★★★

« cool, j'ai appris des trucs »

TomFormation AWS — Cloud Practitioner
★★★★★

« j'etais perdu au debut mais Ramy Saharaoui m'a pas laché, il a pris le temps. merci vraiment »

Eva CarpentierFormation LLM en Entreprise — Claude, ChatGPT, Mistral
★★★★★

« la formation dev etait intense mais grave bien. merci Anthony Khelil »

NolanDWWM - Développeur Web et Web Mobile
★★★★★

« 😊👍 »

AmbreDWWM - Développement Web & Mobile React
★★★★★

« bien 👍 »

Léo BlanchardFormation AWS — DevOps Engineer Professional
★★★★★

« Allan Busi t'es au top, continue comme ça. formation géniale »

MargotFormation Claude & ChatGPT — Comparatif et Cas d'Usage
★★★★★

« cool, j'ai appris des trucs »

TomFormation AWS — Cloud Practitioner
★★★★★

« j'etais perdu au debut mais Ramy Saharaoui m'a pas laché, il a pris le temps. merci vraiment »

Eva CarpentierFormation LLM en Entreprise — Claude, ChatGPT, Mistral
★★★★★

« la formation dev etait intense mais grave bien. merci Anthony Khelil »

NolanDWWM - Développeur Web et Web Mobile
★★★★★

« 😊👍 »

AmbreDWWM - Développement Web & Mobile React
★★★★★

« bien 👍 »

Léo BlanchardFormation AWS — DevOps Engineer Professional
★★★★★

« Allan Busi t'es au top, continue comme ça. formation géniale »

MargotFormation Claude & ChatGPT — Comparatif et Cas d'Usage
Voir tous les avis
Notre méthode

La qualité de la formation, garantie à chaque étape

Avant, pendant, après : on cadre, on présente le formateur, on adapte le contenu et on mesure l'impact. Vous gardez la main du début à la fin.

Étape 1

Sélection rigoureuse du formateur

Chaque formateur est validé sur trois critères : expertise métier en exercice, pédagogie éprouvée et alignement avec votre secteur.

  • Triple validation : technique, pédagogique, sectorielle.
  • Note minimale 4,8/5 sur les 12 dernières sessions.
Étape 2

Vous rencontrez le formateur avant

Visio de 30 minutes entre vous et le formateur retenu pour valider l'alignement, ajuster le contenu et lever les derniers doutes.

  • Briefing live des objectifs et du contexte d'équipe.
  • Veto possible — on remplace gratuitement si besoin.
Étape 3

Contenu adapté à votre contexte

Pas de slides recyclées. Le syllabus est retravaillé à partir de vos cas réels : outils, contraintes, vocabulaire, projets en cours.

  • Cas pratiques issus de votre stack et de vos projets.
  • Programme co-écrit puis validé par votre équipe.
Étape 4

Suivi qualité continu

Évaluations à chaud, à 30/90/180 jours et plan de consolidation. Si la formation n'a pas l'impact prévu, on retravaille.

  • NPS, quiz d'acquis et auto-évaluation des compétences.
  • Engagement satisfaction : 100 % satisfait ou refonte gratuite.

Une promesse simple : vous ne payez pas pour découvrir le formateur le jour J. Tout est validé en amont, par vous.

Votre formation professionnelle partout

Construisons
votre prochain
parcours.

30 minutes avec un conseiller formation. Sans engagement. Sans argumentaire commercial maquillé en démo.

Réponse sous 24 h · Qualiopi · OPCO
WhatsApp