Plan

• Ce qui définit un LLM
• Avantages et inconvénients des différents types de LLM
• Installer un LLM en local (1) : Installer ollama
• Installer un LLM en local (2) : télécharger des modèles
• Installer un LLM en local (3) : chatter avec un modèle

Ce qui définit un LLM

Un LLM est défini par :

• son code et sa structure ;
• les données ayant servi à l’entraîner ;
• ses poids (les paramètres).

On distingue alors 3 types de LLM :

• propriétaire : on peut l’utiliser, mais on ne connaît rien de sa structure (gpt, claude, etc.)
• “poids ouverts” : on peut télécharger le modèle (ses “poids”) et le faire tourner en local. On ne connaît pas son code, ni ses données d’entraînement (deepseek, qwen, etc.)
• “open source” : tout est disponible (pythia, t5)

Pour en savoir plus : Open source AI : le plus gros mensonge de l’IA sur la chaîne Projets IA

Avantages et inconvénients des différents types de LLM

• propriétaires :
  • en général, les plus puissants ;
  • utilisation illimitée payante (éventuellement très chère) ;
  • grosse puissance de calcul à disposition
• “poids ouverts” :
  • peuvent tourner en local (évite de diffuser des données)
  • leur puissance approche celles des meilleurs LLM propriétaires
  • peuvent subir un “réglage fin” (fine-tuning)
• “open source” :
  • on peut notamment mieux contrôler la présence ou non de biais dans les données d’entraînement

Installer un LLM en local (1) : Installer ollama

Des “petits” LLM “poids ouverts” peuvent être installés et utilisés en local sur un ordinateur standard grâce à ollama.

Installer ollama

Les infos sont disponibles ici.

Sous linux :

curl -fsSL https://ollama.com/install.sh | sh

Vérifier que ça fonctionne :

ollama list

Liste les LLM actuellement téléchargés (aucun pour le moment).

NAME    ID    SIZE    MODIFIED

Installer un LLM en local (2) : télécharger des modèles

Les infos

les modèles disponibles sont consultables ici.

les modèles existent sous différentes tailles. En général :

• le modèle qui a appris est le “gros” ;
• les autres sont des versions distillés : ils ont appris à reproduire, avec moins de paramètres, ce qu’a appris le gros modèle.
  • qwen 3:235b : le modèle qui a appris depuis le web, 235 milliards de paramètres
  • qwen3:14b : une version avec “seulement” 14 milliards de paramètres
  • qwen3:4b : une version à 4 milliards de paramètres.

Par ailleurs, les poids, originellement des float (32 bits) ont été reconvertis pour tenir sur 16, 8 voire 4 bits, avec une perte de qualité souvent assez réduite. Pour connaître la quantification d’un modèle, on peut utiliser ollama show modele. Sur qwen3:4b, on obtient : Q4_K_M : quantification sur 4 bits.

Pour connaître un modèle adapté à sa machine, installer llmfit. Parmi les contraintes :

• mémoire disponible
• disponibilité d’un GPU

Quelques modèles intéressants :

• llama3.1 (généraliste, pas de raisonnement) ; 4,9 GB
• qwen3:4b (généraliste, avec raisonnement) ; 2,5 GB
• qwen3:14b (généraliste, avec raisonnement) ; 9,3 GB
• qwen2.5-coder (dédié au code : génération, correction) ; 4,7 GB
• starcoder2 (dédié au code : complétion) ; 1,7 GB

Télécharger un modèle

ollama pull modèle

Installer un LLM en local (3) : chatter avec un modèle

ollama run modele

Tester ainsi avec les différents modèles :

• Comment faire des beignets de fleurs de sureau ?
• Que s’est-il passé en 1989 sur la place Tian’anmen ?

Comparer le temps de réponse et la qualité des réponses.

Autres utilisations possibles

• directement en ligne de commande : ollama run modele question (exemple)
• depuis un IDE comme vscode
• depuis un agent de codage comme openCode
• comme moteur de raisonnement pour des “agents IA” programmés (en Python par exemple)