← Retour Découvrir la catégorie MLOps & industrialisation IA

Formation Quantification GGUF & llama.cpp

Fiche créée le 8 novembre 2026Mise à jour le 9 novembre 2026

Formation d'expertise · Niveau minimum requis

7 500 € HT

5 journées
présentiel
10 personnes max.

Demander un devis Voir le programme

Réf. : BAZ538

10 personnes max.

7 500 € HT

Tarif intra-entreprise : à partir de 13 500 € HT pour tout le groupeTarif expertise : 1 500 € HT la journée, lié au niveau de difficulté

Présentiel et passage de certification sur devis

5 journées

présentiel

Ne laissez pas ce retard s'accumuler

Pourquoi cette formation est essentielle

Les modèles non quantifiés consomment jusqu'à quatre fois plus de VRAM, ce qui limite le nombre d'instances simultanées sur un même serveur.
D'après les mesures internes réalisées sur 80 projets, les équipes qui ignorent la quantification GGUF observent des coûts cloud multipliés par trois en six mois.
Les ingénieurs MLOps qui ne maîtrisent pas llama.cpp perdent en autonomie face aux éditeurs de solutions propriétaires.
La migration tardive vers des formats optimisés crée des retards de mise en production et fragilise la compétitivité des projets IA internes.

Devis sous 24 hCertifié Qualiopi+10 000 apprenants formésAvis Google vérifiés

Public

La formation Quantification GGUF & llama.cpp 2026 cible les ingénieurs MLOps, développeurs backend et architectes IA qui veulent réduire la taille des modèles. Les participants maîtrisent la conversion de checkpoints en formats quantifiés GGUF, l'exécution via llama.cpp et l'intégration dans des pipelines de serving existants.

Prérequis

Expérience solide avec Python, Git et un framework de deep learning tel que PyTorch. Connaissance pratique des concepts de tokenisation et d'inférence LLM requise.

Ils nous font confiance — écoles, entreprises et groupes industriels

42 332 formations · 25 pays

On propose des formations avec un ingénieur dédié

Entreprises : Aptar, ArcelorMittal, Equans, Biocoop, Solocal, EDF, Photowatt, Ubisoft, Microsoft, Chronopost, RATP, Vanatome et Atos. Écoles partenaires : CESI, École IT, EFREI, EPSI, INGETIS, INSEEC, La Plateforme, My Digital School et Ynov.

Objectifs de la formation Quantification GGUF & llama.cpp

Optimiser la Quantification GGUF & llama.cpp 2026 pour réduire l'empreinte mémoire des modèles en production
Maîtriser les formats de quantification Q4_K_M et Q5_K_S avec llama.cpp
Déployer des serveurs d'inférence optimisés sur CPU et GPU via llama-server
Automatiser les conversions de modèles avec les scripts de llama.cpp
Piloter le monitoring de latence et de consommation après déploiement
Migrer des workloads existants vers des binaires quantifiés GGUF

Programme

Programme Quantification GGUF & llama.cpp : 5 modules sur 5 journées

Module 1 : Quantification GGUF initiale (llama.cpp, convertisseurs)

Les participants convertissent des modèles Llama et Mistral en GGUF à l'aide des outils llama.cpp. Ils appliquent les niveaux Q3_K_S à Q8_0, mesurent la taille finale et testent la perplexité sur un jeu de validation. Un premier serveur d'inférence est lancé localement.

Module 2 : Optimisation avancée avec llama.cpp (quantisation, KV cache)

La journée porte sur les options avancées de llama.cpp : calibration avec des jeux spécifiques, ajustement du KV cache et compilation avec support CUDA. Chaque participant produit un binaire optimisé pour son architecture cible et compare les vitesses d'inférence.

Module 3 : Intégration serving Quantification GGUF (llama.cpp, API)

Construction d'une API REST autour de llama-server avec authentification et batching. Les modèles quantifiés sont exposés derrière un reverse proxy. Un exercice compare les performances avant et après optimisation GGUF sur un scénario de 100 requêtes simultanées.

Voir cette formationFormation Ollama : de zéro à la production

Module 4 : Tests et monitoring des modèles GGUF (llama.cpp, métriques)

Mise en place de tests automatisés de latence et de consommation mémoire. Les participants intègrent des métriques Prometheus issues de llama.cpp et détectent les régressions après une nouvelle quantification. Un tableau de bord Grafana est livré.

Module 5 : Déploiement production Quantification GGUF (llama.cpp, pipelines)

Création d'un pipeline CI/CD qui convertit, teste et déploie automatiquement les modèles en format GGUF. Les équipes finalisent un livrable complet incluant scripts de build, configuration serveur et procédures de rollback pour un environnement de production.

Voir cette formationFormation Canary release & Multi-tenancy

Comment sont évalués les acquis en Quantification GGUF & llama.cpp

Quiz de validation des formats de quantification GGUF
Exercice pratique de conversion et déploiement d'un modèle
Revue du pipeline CI/CD livré en fin de formation

Méthode pédagogique de la formation Quantification GGUF & llama.cpp

Conversion de checkpoints vers GGUF avec contrôle de la qualité
Compilation et paramétrage de llama.cpp pour CPU et GPU
Exposition d'un modèle quantifié via API REST sécurisée
Intégration de métriques de latence et consommation dans un pipeline existant

Modalités d'accès à la formation Quantification GGUF & llama.cpp

La formation Formation Quantification GGUF & llama.cpp est délivrée en présentiel ou distanciel (blended-learning, classe virtuelle, présentiel à distance). Chez Learni, organisme de formation certifié Qualiopi, chaque parcours est conçu pour maximiser l'acquisition de compétences, quel que soit le mode de formation choisi.

Le formateur alterne entre méthode démonstrative, interrogative et active (via des travaux pratiques et/ou des mises en situation). Cette approche pédagogique garantit un apprentissage concret et directement applicable en entreprise.

Moyens pédagogiques requis

Pour le bon déroulement de la formation Formation Quantification GGUF & llama.cpp, les moyens pédagogiques suivants sont nécessaires :

Ordinateurs Mac ou PC, connexion internet haut débit fibre, tableau blanc ou paperboard, vidéoprojecteur ou écran tactile interactif (pour les sessions en distanciel)
Environnements de formation installés sur les postes de travail ou accessibles en ligne
Supports de cours, exercices pratiques et ressources complémentaires
Accès post-formation aux supports et ressources pédagogiques

En cas de formation intra-entreprise sur site externe à Learni, le client s'assure et s'engage à disposer de toutes les ressources matérielles pédagogiques nécessaires (équipements informatiques, connexion internet…) au bon déroulement de l'action de formation conformément aux prérequis indiqués dans le programme de formation communiqué.

* nous consulter pour la faisabilité en distanciel** ratio variable selon la formation suivie

Modalités d'évaluation des acquis

L'évaluation des compétences acquises lors de la formation Formation Quantification GGUF & llama.cpp s'effectue à travers :

En cours de formation : études de cas, travaux pratiques et mises en situation professionnelle
En fin de formation : questionnaire d'auto-évaluation et évaluation des acquis par le formateur
Après la formation : attestation de fin de formation détaillant les compétences acquises

Accessibilité de la formation

Learni s'engage pour l'accessibilité de ses formations professionnelles. Toutes nos formations sont accessibles aux personnes en situation de handicap. Nos équipes sont à votre disposition pour adapter les modalités pédagogiques à vos besoins spécifiques. N'hésitez pas à nous contacter pour toute demande d'aménagement.

Modalités et délais d'accès à la formation

Les formations Learni sont disponibles en inter-entreprise et intra-entreprise, en présentiel comme en distanciel. Les inscriptions sont possibles jusqu'à 48 heures ouvrées avant le début de la formation. Nos formations sont éligibles aux financements OPCO, France Travail, FNE-Formation et CSP (contrat de sécurisation professionnelle). Contactez-nous pour étudier ensemble votre projet de formation et les possibilités de prise en charge.

L'histoire de Learni

Fondée par des passionnés de l'apprentissage et de l'innovation, Learni s'est donnée pour mission de rendre la formation professionnelle accessible à tous, partout dans le monde. Notre équipe intervient dans les plus grandes métropoles — Paris, Lyon, Marseille — mais aussi à l'international, pour accompagner les talents et les organisations dans leur montée en compétences.

Témoignages

Ce qu'ils disent
de nous.

★★★★★ Avis Google

★★★★★

« Learni a co-conçu notre programme IA pour 200 collaborateurs. Sélection rigoureuse, intervenants experts et accompagnement post-formation. Résultat : 92 % des apprenants ont mis en application en moins de 30 jours, et un ROI mesuré à +180 % sur le premier semestre. »

Julien BiancoDirectrice Formation

AFCI

★★★★★

« Nous avons confié à Learni la création de notre nouveau cycle. Allan sélectionne désormais nos formateurs : contenus pertinents et fort engagement. Apprenants très satisfaits et offre éducative renforcée. »

Thibaut AiméDirecteur Général

INGETIS

★★★★★

« En tant que Responsable pédagogique, j'ai été conquis par la réactivité et le professionnalisme de Learni : sélection rigoureuse des formateurs, suivi exemplaire et impact concret sur nos cohortes. »

Arnaud ParadisResponsable pédagogique

École IT

Notre méthode

Comment Learni garantit la qualité de votre formation Quantification GGUF & llama.cpp

Avant, pendant, après : on cadre, on présente le formateur, on adapte le contenu et on mesure l'impact. Vous gardez la main du début à la fin.

Étape 1

Sélection rigoureuse du formateur

Chaque formateur est validé sur trois critères : expertise métier en exercice, pédagogie éprouvée et alignement avec votre secteur.

Triple validation : technique, pédagogique, sectorielle.
Note minimale 4,8/5 sur les 12 dernières sessions.

Étape 2

Vous rencontrez le formateur avant

Visio de 30 minutes entre vous et le formateur retenu pour valider l'alignement, ajuster le contenu et lever les derniers doutes.

Briefing live des objectifs et du contexte d'équipe.
Veto possible — on remplace gratuitement si besoin.

Étape 3

Contenu adapté à votre contexte

Pas de slides recyclées. Le syllabus est retravaillé à partir de vos cas réels : outils, contraintes, vocabulaire, projets en cours.

Cas pratiques issus de votre stack et de vos projets.
Programme co-écrit puis validé par votre équipe.

Étape 4

Suivi qualité continu

Évaluations à chaud, à 30/90/180 jours et plan de consolidation. Si la formation n'a pas l'impact prévu, on retravaille.

NPS, quiz d'acquis et auto-évaluation des compétences.
Engagement satisfaction : 100 % satisfait ou refonte gratuite.

Une promesse simple : vous ne payez pas pour découvrir le formateur le jour J. Tout est validé en amont, par vous.

Un enfant sur le chemin de l'école avec son cartable

Engagement solidaire

Un kit scolaire offert à un enfant pour chaque formation réservée

Pour lutter contre les inégalités d'accès à l'éducation, Learni offre un kit scolaire complet à un enfant dans le besoin pour chaque formation réservée. Vous montez en compétence, un enfant prend le chemin de l'école.

Cartable, cahiers et fournitures essentielles
Distribué via nos associations partenaires
Inclus, sans surcoût pour vous

M'inscrire et offrir un kit

FAQ

Questions fréquentes sur Quantification GGUF & llama.cpp

Quels niveaux de quantification GGUF sont manipulés pendant la formation ?+

Les niveaux de quantification GGUF manipulés pendant la formation sont Q3_K_S, Q4_K_M, Q5_K_S et Q8_0. Chaque niveau est testé sur des modèles Llama 3 et Mistral afin de mesurer l'impact sur la taille et la perplexité. Les participants comparent ensuite les résultats sur leur propre matériel.

Comment llama.cpp se distingue-t-il d'Ollama pour la production ?+

llama.cpp offre un contrôle plus fin sur la compilation et les options de KV cache que Ollama. La formation montre comment compiler un binaire spécifique à l'architecture cible et exposer uniquement les endpoints nécessaires. Cette approche réduit la surface d'attaque et la consommation mémoire en production.

Faut-il une carte GPU pour utiliser la Quantification GGUF & llama.cpp ?+

Une carte GPU n'est pas obligatoire pour la Quantification GGUF & llama.cpp. Les exercices couvrent à la fois les builds CPU optimisés et les versions CUDA. Les participants testent les deux configurations et choisissent celle adaptée à leur parc matériel.

Comment intégrer un modèle GGUF dans un pipeline MLflow existant ?+

Un modèle GGUF s'intègre dans un pipeline MLflow en enregistrant le binaire et le script de lancement comme artefact. La formation montre la création d'un modèle MLflow wrapper qui appelle llama.cpp et expose les mêmes endpoints que les modèles précédents.

Quelles erreurs de quantification GGUF sont les plus fréquentes ?+

Les erreurs les plus fréquentes concernent le choix d'un niveau trop agressif qui dégrade la qualité ou l'oubli de recalibrer le KV cache après quantification. Chaque jour de la formation inclut des vérifications automatisées pour détecter ces problèmes avant le déploiement.

Quels prérequis techniques sont nécessaires pour automatiser les conversions GGUF avec llama.cpp ?+

Les prérequis techniques nécessaires pour automatiser les conversions GGUF avec llama.cpp incluent une pratique des lignes de commande et des scripts Python basiques. Les convertisseurs du dépôt llama.cpp s'exécutent dans cet environnement pour traiter divers modèles. L'équipe peut ensuite enchaîner les étapes de quantification sans intervention manuelle. Cela prépare directement à l'intégration dans des pipelines CI existants.

En combien de temps une équipe devient-elle opérationnelle sur le serving avec llama-server ?+

Une équipe devient opérationnelle sur le serving avec llama-server après les ateliers pratiques des jours 3 et 4. Les participants configurent des inférences optimisées et collectent les métriques de latence avec les outils llama.cpp. Cette autonomie permet de déployer des modèles quantifiés en production rapidement. L'étape suivante porte sur le monitoring continu des consommations.

Comment la Quantification GGUF s'applique-t-elle à un parc de serveurs CPU ?+

La Quantification GGUF s'applique à un parc de serveurs CPU grâce aux binaires optimisés de llama.cpp sans dépendance GPU. Les formats Q4_K_M réduisent l'empreinte mémoire sur processeurs standards pendant les déploiements. Les participants testent llama-server sur ce type d'infrastructure pendant la formation. Cela facilite la migration des workloads existants sans achat de matériel supplémentaire.

Quels cas d'usage concrets impliquent la quantification Q4_K_M avec llama.cpp ?+

Les cas d'usage concrets qui impliquent la quantification Q4_K_M avec llama.cpp concernent l'inférence sur des serveurs à mémoire limitée. Les équipes automatisent les conversions et mesurent la latence après déploiement via les scripts fournis. Ces optimisations soutiennent les workloads MLflow déjà en place. La formation couvre ensuite les ajustements du KV cache pour ces scénarios.

Quels métiers visent la formation Quantification GGUF & llama.cpp pour l'inférence optimisée ?+

La formation Quantification GGUF & llama.cpp vise les ingénieurs MLOps et les développeurs backend en charge de l'inférence. Ces profils manipulent les conversions automatisées et le monitoring avec llama.cpp pour réduire les coûts mémoire. Ils déploient ensuite des serveurs optimisés sur CPU ou GPU. Cela complète leurs compétences sur les pipelines de production existants.

Quel est le prix de la formation Quantification GGUF & llama.cpp ?+

La formation Quantification GGUF & llama.cpp coûte 7 500 € HT par participant. En intra-entreprise, le forfait démarre à 13 500 € HT pour tout le groupe, jusqu'à 8 personnes. Le devis détaillé, envoyé sous 24 h, ajuste le montant au format et à l'adaptation du programme à votre contexte.

Quelle est la durée de la formation Quantification GGUF & llama.cpp ?+

5 journées, en présentiel. Un découpage en demi-journées étalées sur plusieurs semaines est possible pour ne pas désorganiser l'équipe.

Votre formation professionnelle partout