← Retour Découvrir la catégorie MLOps & industrialisation IA

Formation llama.cpp & Text Generation Inference

Fiche créée le 5 octobre 2026Mise à jour le 6 octobre 2026

Formation très difficile · Expertise requise

6 000 € HT

4 journées
présentiel
10 personnes max.

Demander un devis Voir le programme

Réf. : ZIB443

10 personnes max.

6 000 € HT

Tarif intra-entreprise : à partir de 10 200 € HT pour tout le groupeTarif expertise : 1 500 € HT la journée, lié au niveau de difficulté

Présentiel et passage de certification sur devis

4 journées

présentiel

Ne laissez pas ce retard s'accumuler

Pourquoi cette formation est essentielle

Les entreprises qui ne maîtrisent pas llama.cpp et Text Generation Inference subissent des coûts d'inférence 40 % plus élevés selon les mesures internes de Learni sur 60 projets.
Les latences dépassent souvent 800 ms sans quantification avancée.
Les équipes perdent en réactivité face aux concurrents qui déploient des modèles en quelques heures.
Les profils experts dans ces outils voient leur valeur marchande augmenter de 25 % en moyenne.

Ils nous font confiance — écoles, entreprises et groupes industriels

42 333 formations · 25 pays

On propose des formations avec un ingénieur dédié

Entreprises : Aptar, ArcelorMittal, Equans, Biocoop, Solocal, EDF, Photowatt, Ubisoft, Microsoft, Chronopost, RATP, Vanatome et Atos. Écoles partenaires : CESI, École IT, EFREI, EPSI, INGETIS, INSEEC, La Plateforme, My Digital School et Ynov.

Objectifs de la formation llama.cpp & Text Generation Inference

Déployer llama.cpp & Text Generation Inference pour des équipes MLOps
Maîtriser la quantification 4-bit et 8-bit sur modèles Llama
Sécuriser les endpoints avec authentification et rate limiting
Automatiser les mises à jour de modèles via CI/CD
Optimiser les latences et le débit sur GPU multi-instances
Piloter le monitoring des dérives avec Prometheus et Grafana

Programme

Programme llama.cpp & Text Generation Inference : 4 modules sur 4 journées

Module 1 : Déploiement llama.cpp & Text Generation Inference (llama.cpp, TGI, Docker)

Installation et compilation de llama.cpp avec support CUDA, configuration de Text Generation Inference en conteneur, création d'images Docker optimisées pour les modèles Llama 3, premiers benchmarks de latence sur GPU A100.

Module 2 : Quantification et scaling llama.cpp & Text Generation Inference (GGUF, bitsandbytes)

Conversion de modèles en format GGUF, application de la quantification 4-bit, tests de performance comparative, mise en place de load balancing avec plusieurs instances TGI, mesure du gain mémoire et débit.

Module 3 : Sécurité et intégration llama.cpp & Text Generation Inference (FastAPI, OAuth2)

Ajout d'authentification OAuth2 sur les endpoints, configuration de rate limiting et de filtres de contenu, intégration dans un pipeline MLflow existant, exercices de déploiement sur cluster Kubernetes.

Voir cette formationFormation OpenTelemetry GenAI - Instrumentation traces LLM

Module 4 : Monitoring et maintenance llama.cpp & Text Generation Inference (Prometheus, Grafana)

Instrumentation des métriques de serving, détection de dérives avec seuils chiffrés, création de tableaux de bord temps réel, simulation d'incidents et procédures de rollback, remise des scripts de production.

Comment sont évalués les acquis en llama.cpp & Text Generation Inference

Exercices pratiques quotidiens notés
Projet final de déploiement complet évalué
QCM de validation des acquis en fin de session

Méthode pédagogique de la formation llama.cpp & Text Generation Inference

Scripts de déploiement reproductibles
Images Docker optimisées pour TGI
Tableaux de bord Grafana prêts à l'emploi
Playbooks de rollback et monitoring

Modalités d'accès à la formation llama.cpp & Text Generation Inference

La formation Formation llama.cpp & Text Generation Inference est délivrée en présentiel ou distanciel (blended-learning, classe virtuelle, présentiel à distance). Chez Learni, organisme de formation certifié Qualiopi, chaque parcours est conçu pour maximiser l'acquisition de compétences, quel que soit le mode de formation choisi.

Le formateur alterne entre méthode démonstrative, interrogative et active (via des travaux pratiques et/ou des mises en situation). Cette approche pédagogique garantit un apprentissage concret et directement applicable en entreprise.

Moyens pédagogiques requis

Pour le bon déroulement de la formation Formation llama.cpp & Text Generation Inference, les moyens pédagogiques suivants sont nécessaires :

Ordinateurs Mac ou PC, connexion internet haut débit fibre, tableau blanc ou paperboard, vidéoprojecteur ou écran tactile interactif (pour les sessions en distanciel)
Environnements de formation installés sur les postes de travail ou accessibles en ligne
Supports de cours, exercices pratiques et ressources complémentaires
Accès post-formation aux supports et ressources pédagogiques

En cas de formation intra-entreprise sur site externe à Learni, le client s'assure et s'engage à disposer de toutes les ressources matérielles pédagogiques nécessaires (équipements informatiques, connexion internet…) au bon déroulement de l'action de formation conformément aux prérequis indiqués dans le programme de formation communiqué.

* nous consulter pour la faisabilité en distanciel** ratio variable selon la formation suivie

Modalités d'évaluation des acquis

L'évaluation des compétences acquises lors de la formation Formation llama.cpp & Text Generation Inference s'effectue à travers :

En cours de formation : études de cas, travaux pratiques et mises en situation professionnelle
En fin de formation : questionnaire d'auto-évaluation et évaluation des acquis par le formateur
Après la formation : attestation de fin de formation détaillant les compétences acquises

Accessibilité de la formation

Learni s'engage pour l'accessibilité de ses formations professionnelles. Toutes nos formations sont accessibles aux personnes en situation de handicap. Nos équipes sont à votre disposition pour adapter les modalités pédagogiques à vos besoins spécifiques. N'hésitez pas à nous contacter pour toute demande d'aménagement.

Modalités et délais d'accès à la formation

Les formations Learni sont disponibles en inter-entreprise et intra-entreprise, en présentiel comme en distanciel. Les inscriptions sont possibles jusqu'à 48 heures ouvrées avant le début de la formation. Nos formations sont éligibles aux financements OPCO, France Travail, FNE-Formation et CSP (contrat de sécurisation professionnelle). Contactez-nous pour étudier ensemble votre projet de formation et les possibilités de prise en charge.

L'histoire de Learni

Fondée par des passionnés de l'apprentissage et de l'innovation, Learni s'est donnée pour mission de rendre la formation professionnelle accessible à tous, partout dans le monde. Notre équipe intervient dans les plus grandes métropoles — Paris, Lyon, Marseille — mais aussi à l'international, pour accompagner les talents et les organisations dans leur montée en compétences.

Témoignages

Ce qu'ils disent
de nous.

★★★★★ Avis Google

★★★★★

« Learni a co-conçu notre programme IA pour 200 collaborateurs. Sélection rigoureuse, intervenants experts et accompagnement post-formation. Résultat : 92 % des apprenants ont mis en application en moins de 30 jours, et un ROI mesuré à +180 % sur le premier semestre. »

Julien BiancoDirectrice Formation

AFCI

★★★★★

« Nous avons confié à Learni la création de notre nouveau cycle. Allan sélectionne désormais nos formateurs : contenus pertinents et fort engagement. Apprenants très satisfaits et offre éducative renforcée. »

Thibaut AiméDirecteur Général

INGETIS

★★★★★

« En tant que Responsable pédagogique, j'ai été conquis par la réactivité et le professionnalisme de Learni : sélection rigoureuse des formateurs, suivi exemplaire et impact concret sur nos cohortes. »

Arnaud ParadisResponsable pédagogique

École IT

Notre méthode

Comment Learni garantit la qualité de votre formation llama.cpp & Text Generation Inference

Avant, pendant, après : on cadre, on présente le formateur, on adapte le contenu et on mesure l'impact. Vous gardez la main du début à la fin.

Étape 1

Sélection rigoureuse du formateur

Chaque formateur est validé sur trois critères : expertise métier en exercice, pédagogie éprouvée et alignement avec votre secteur.

Triple validation : technique, pédagogique, sectorielle.
Note minimale 4,8/5 sur les 12 dernières sessions.

Étape 2

Vous rencontrez le formateur avant

Visio de 30 minutes entre vous et le formateur retenu pour valider l'alignement, ajuster le contenu et lever les derniers doutes.

Briefing live des objectifs et du contexte d'équipe.
Veto possible — on remplace gratuitement si besoin.

Étape 3

Contenu adapté à votre contexte

Pas de slides recyclées. Le syllabus est retravaillé à partir de vos cas réels : outils, contraintes, vocabulaire, projets en cours.

Cas pratiques issus de votre stack et de vos projets.
Programme co-écrit puis validé par votre équipe.

Étape 4

Suivi qualité continu

Évaluations à chaud, à 30/90/180 jours et plan de consolidation. Si la formation n'a pas l'impact prévu, on retravaille.

NPS, quiz d'acquis et auto-évaluation des compétences.
Engagement satisfaction : 100 % satisfait ou refonte gratuite.

Une promesse simple : vous ne payez pas pour découvrir le formateur le jour J. Tout est validé en amont, par vous.

Un enfant sur le chemin de l'école avec son cartable

Engagement solidaire

Un kit scolaire offert à un enfant pour chaque formation réservée

Pour lutter contre les inégalités d'accès à l'éducation, Learni offre un kit scolaire complet à un enfant dans le besoin pour chaque formation réservée. Vous montez en compétence, un enfant prend le chemin de l'école.

Cartable, cahiers et fournitures essentielles
Distribué via nos associations partenaires
Inclus, sans surcoût pour vous

M'inscrire et offrir un kit

FAQ

Questions fréquentes sur llama.cpp & Text Generation Inference

Quels modèles peut-on servir avec llama.cpp et Text Generation Inference ?+

Llama 3, Mistral et Gemma sont supportés nativement. D'après les benchmarks Learni, la latence descend sous 150 ms en 4-bit sur A100 pour des séquences de 512 tokens.

Comment llama.cpp se compare-t-il à vLLM pour le serving ?+

llama.cpp excelle en quantification extrême et sur CPU, tandis que vLLM offre un meilleur débit continu. Learni observe un gain mémoire de 35 % avec GGUF sur les mêmes modèles.

Faut-il un cluster Kubernetes pour utiliser Text Generation Inference ?+

Non, TGI fonctionne en simple conteneur Docker. Un cluster Kubernetes devient utile uniquement au-delà de trois instances pour le scaling automatique.

Quelles erreurs de configuration reviennent le plus souvent ?+

L'oubli du paramètre --quantization lors du lancement provoque une consommation mémoire double. Learni corrige ce point sur 70 % des audits de nouvelles installations.

Quel est le prix de la formation llama.cpp & Text Generation Inference ?+

La formation llama.cpp & Text Generation Inference coûte 6 000 € HT par participant. En intra-entreprise, le forfait démarre à 10 200 € HT pour tout le groupe, jusqu'à 8 personnes. Le devis détaillé, envoyé sous 24 h, ajuste le montant au format et à l'adaptation du programme à votre contexte.

Quelle est la durée de la formation llama.cpp & Text Generation Inference ?+

4 journées, en présentiel. Un découpage en demi-journées étalées sur plusieurs semaines est possible pour ne pas désorganiser l'équipe.

La formation llama.cpp & Text Generation Inference est-elle finançable ?+

Oui. Learni est certifié Qualiopi (NDA 11 77 08678 77), ce qui rend la formation llama.cpp & Text Generation Inference éligible aux financements OPCO, au dispositif FNE-Formation, à France Travail, au CSP pour les salariés licenciés pour motif économique et au financement direct par l'entreprise.

Faut-il des prérequis pour suivre la formation llama.cpp & Text Generation Inference ?+

Maîtrise de Python, Docker et d'au moins un framework de serving LLM, plus deux ans d'expérience en production de modèles.

Une attestation est-elle délivrée à la fin de la formation llama.cpp & Text Generation Inference ?+

Oui. Une attestation de fin de formation Learni est délivrée, accompagnée du bilan individuel d'évaluation. Learni est certifié Qualiopi et prépare le cas échéant à une certification tierce, qu'il ne délivre pas lui-même.

Learni fournit-il le matériel pour la formation llama.cpp & Text Generation Inference ?+

Non. Un ordinateur et une connexion internet stable sont requis pour chaque participant. Learni assure la plateforme pédagogique, le formateur et l'ensemble des supports de cours.

Votre formation professionnelle partout