Un modèle de sept milliards de paramètres enregistré sur quatre bits semble demander seulement 3,5 milliards d’octets. Ce calcul donne un ordre de grandeur utile, mais ne décrit pas toute la mémoire nécessaire pour le faire fonctionner. Des métadonnées, des espaces de travail et les informations conservées pendant la génération s’ajoutent aux poids. La configuration dépend aussi du logiciel et du contexte. Pour préparer une IA locale, mieux vaut comprendre ces postes que choisir une machine à partir du seul poids du fichier téléchargé.
En bref : les poids du modèle ne représentent qu’une partie de la mémoire utilisée. Ajoutez les métadonnées de quantification, le cache de génération et les besoins du logiciel avant de juger la faisabilité.
Le calcul théorique a une utilité et une limite
Prenons un exemple simplifié, sans prétendre décrire un fichier réel. Sept milliards de valeurs à quatre bits représentent vingt-huit milliards de bits, soit 3,5 milliards d’octets. C’est environ 3,26 Gio, puisque le gibioctet utilise une base différente du gigaoctet décimal. Ce résultat suppose que chaque paramètre occupe exactement quatre bits et qu’aucune autre donnée n’est stockée.
Dans un format réel, des informations servent à interpréter les valeurs réduites, et certains éléments peuvent utiliser une précision différente. Le conteneur et l’implémentation ajoutent également leurs besoins. La documentation Hugging Face sur la quantification des modèles décrit différentes méthodes : le mot « quantifié » ne désigne pas un format unique avec un comportement universel.
Réduire la précision vise notamment à diminuer la mémoire des poids. Cela peut modifier le résultat ou les performances selon le modèle, la méthode et le matériel. Le choix ne doit pas reposer sur une règle selon laquelle moins de bits implique toujours une réponse plus rapide. Des opérations de conversion, des noyaux adaptés ou des contraintes matérielles peuvent changer le bilan.
Le cache grandit avec le travail de génération
Les modèles concernés peuvent conserver des informations issues des tokens déjà traités afin d’éviter de refaire certains calculs. Ce cache utilise de la mémoire en plus des poids. Sa taille dépend notamment de l’architecture et de la longueur de la séquence, ainsi que du nombre de séquences traitées. Un essai avec une courte question ne révèle donc pas nécessairement le besoin d’un long document.
Hugging Face présente plusieurs stratégies de cache, dont des approches qui déplacent ou réduisent certaines données. Ces options possèdent leurs compromis et ne sont pas interchangeables. Il faut vérifier qu’elles sont disponibles et adaptées au modèle utilisé. Déplacer une partie des données vers une autre mémoire peut économiser de la place à un endroit en ajoutant des transferts ailleurs.
Une configuration qui charge le modèle peut encore manquer de marge pendant la génération. Le chargement confirme une étape ; il ne valide pas la longueur du contexte et le volume de travail prévus. Testez l’entrée la plus représentative de vos usages, avec la sortie attendue, et observez les pointes de mémoire. La marge doit correspondre au travail, pas seulement au démarrage.
RAM, mémoire graphique et mémoire partagée
Une machine peut répartir les données entre plusieurs espaces selon le matériel et le moteur. Un ordinateur doté d’une mémoire partagée ne se décrit pas exactement comme une machine avec RAM et carte graphique séparées. Les quantités nominales ne suffisent pas : le système, les applications ouvertes et les contraintes du logiciel occupent aussi une part de la mémoire disponible.
Lorsqu’une partie du traitement quitte l’accélérateur pour un autre composant, la vitesse peut changer fortement. Un moteur peut continuer à répondre, mais avec un délai qui ne correspond plus à votre besoin. La question devient alors double : est-ce que la tâche termine, et termine-t-elle assez vite pour être utile ? Le poids du modèle ne permet pas de répondre seul.
Notez les paramètres réellement actifs : modèle précis, méthode de quantification, moteur, longueur d’entrée et traitements simultanés. Un comparatif qui omet ces informations vous donne un résultat difficile à reproduire. Deux fichiers portant un nom proche peuvent correspondre à des configurations différentes et produire des besoins différents.
La place disponible et la puissance sont également distinctes côté graphique. Notre dossier sur la capacité de VRAM d’une carte graphique aide à comprendre pourquoi davantage de mémoire peut rendre une tâche possible sans accélérer toutes les opérations.
| Hypothèse simplifiée | Poids théorique seuls |
|---|---|
| 7 milliards de paramètres × 16 bits | 14 milliards d’octets, hors autres besoins |
| 7 milliards de paramètres × 8 bits | 7 milliards d’octets, hors autres besoins |
| 7 milliards de paramètres × 4 bits | 3,5 milliards d’octets, hors autres besoins |
Un essai progressif qui évite le faux verdict
Commencez avec une entrée courte pour vérifier l’installation, puis augmentez vers votre document type. Mesurez le temps avant la première réponse, la vitesse suivante et la mémoire maximale. Fermez les applications inutiles pendant le test, puis reproduisez une situation normale de travail pour apprécier la marge réelle. Une démonstration sur une machine presque vide ne suffit pas pour votre journée habituelle.
Examinez aussi le résultat obtenu avec les variantes de précision que vous envisagez. Une économie de mémoire n’est utile que si le modèle reste adapté à la tâche. Conservez quelques exemples contrôlables pour comparer les omissions, les erreurs et les formats. La configuration pertinente est un compromis documenté entre capacité, qualité et vitesse ; le calcul de 3,5 Go en constitue le point de départ, jamais le budget complet.
