Plan

• Une idée simple
• Pourquoi cela paraît-il intelligent ?
• Le concept de token
• Représentation numérique
• Les embeddings
• Le problème du contexte
• Mécanisme d’attention
• Fonctionnement d’un LLM
• Utilisation d’un agent conversationnel (chatGPT par exemple) :
• Pourquoi “Large” ?
• Qu’est-ce qu’un paramètre ?
• Principe de l’entraînement
• Entraînement : prise en compte des erreurs
• LLM avec raisonnement explicite

Une idée simple

Un LLM (Large Language Model) est un programme qui :

• reçoit une séquence de texte en entrée ;
• prédit le mot (ou plus exactement le token) suivant ;
• répète cette opération jusqu’à produire une réponse complète.

L’objectif fondamental est donc :

Prédire le token suivant avec la plus grande probabilité.

Cette prédiction est une prédiction statistique en fonction des textes analysés par le LLM lors d’une phase d’apprentissage réalisée en amont, notamment en analysant le contenu du web. Le LLM peut aussi renvoyer “rien” pour dire qu’il estime avoir terminé de compléter le texte.

Ici, on ne cherche pas à détailler complètement le fonctionnement d’un LLM, mais juste à comprendre les principes de base.

Pourquoi cela paraît-il intelligent ?

Exemple :

La capitale de la France est …

Le modèle attribue des probabilités aux suites possibles :

Suite	Probabilité
Paris	0,98
célèbre	0,32
Lyon	0,01
Marseille	0,005
autre	0,005

Il choisit généralement parmi les tokens les plus probables.

On peut contrôler l’importance de la probabilité via un paramètre : la température :

• température = 0 : on se contente du token le plus probable (pour des résultats fiables)
• température = 1 : on rajoute beaucoup d’incertitude (pour de la “créativité”)

Le concept de token

Les LLM ne manipulent pas directement des mots. Ils découpent le texte en tokens grâce à un outil appelé tokeniser.

Exemples :

Texte	Tokens possibles
bonjour	bon + jour
informatique	info + rmatique
ChatGPT	Chat + GPT

Un token peut être un mot, une partie de mot, un signe de ponctuation, un nombre, …

Le tokeniser d’Open IA est accessible librement ici.

Les tokens ne sont pas déterminés statiquement : ils sont construits à partir des textes parcourus. D’un LLM à l’autre, on n’a pas les mêmes tokens, ni d’une langue à l’autre. Aussi, un tokeniser adapté à l’allemand ne fonctionnera pas bien sur des textes en français. Donc un tokeniser “multilingue” aura un éventail de tokens plus large.

Représentation numérique

Un ordinateur ne traite que des nombres.

Chaque token est donc transformé en vecteur numérique (une suite de chiffres).

Exemple simplifié :

Token	Représentation
chat	(0.2, -1.3, 0.8, …)
chien	(0.4, -1.1, 0.7, …)
voiture	(-0.8, 1.7, -0.5, …)

Ces vecteurs sont appelés embeddings. Pour un LLM donné, tous les vecteurs ont la même taille.

Les embeddings

Les embeddings sont appris automatiquement pendant l’entraînement.

Propriété remarquable :

• des mots proches sémantiquement ont souvent des vecteurs proches ;
• des relations apparaissent dans l’espace vectoriel (distance faible).

Exemples observés :

• roi ↔︎ reine
• Paris ↔︎ France
• Berlin ↔︎ Allemagne

Le sens est représenté par la géométrie.

Le problème du contexte

Pour prédire le prochain token, il faut tenir compte de ce qui précède.

Exemple :

J’ai posé mon livre sur la table. Il est tombé parce qu’…

Le mot suivant dépend du contexte.

Les premiers modèles traitaient difficilement les dépendances longues.

Mécanisme d’attention

Principe

Article fondateur :

Attention Is All You Need (2017)

Introduction de l’architecture Transformer.

Principe :

Chaque token peut examiner les autres tokens du contexte afin d’évaluer leur importance.

Cette opération est appelée mécanisme d’attention (attention mechanism)

Exemple

Phrase :

Marie a donné son livre à Julie car elle partait en voyage.

À qui renvoie “elle” ?

Le modèle doit déterminer quels mots précédents sont les plus pertinents.

L’attention consiste à combiner le vecteur associé à un token avec un vecteur représentant ce qui le précède pour obtenir un nouveau vecteur représentant le token dans son contexte.

Fonctionnement d’un LLM

1. L’apprentissage

• Dans un premier temps, il faut déterminer les tokens, et définir la “machine” permettant, à partir d’un texte de prédire le token suivant
• Cet apprentissage est réalisé une seule fois. En première approximation, plus il y aura de textes en entrée, plus la “machine” aura intégré des informations lui permettant de s’intégrer dans des contextes variés.

2. L’utilisation

Texte
  ↓
Tokens
  ↓
Embeddings
  ↓
Transformer
  ↓
Probabilités
  ↓
Token suivant

Utilisation d’un agent conversationnel (chatGPT par exemple) :

L’agent conversationnel (comme chatGPT) est une interface vers un LLM (comme GPT-5.4). Lorsqu’on saisit un texte (prompt) dans un agent conversationnel, ce dernier lui rajoute pré-prompt avant de passer le tout au LLM afin de mieux guider ce dernier.

Pourquoi un pré-prompt ?

• mieux exprimer qu’on est dans le cadre d’une question et qu’une réponse est attendue
• forcer un type de langage (correct, bienveillant, etc.)
• interdire des “dérives”

Pourquoi “Large” ?

Les données :

• nombre de tokens (entre 30K et 130K environ)
• taille du texte utilisé pour l’apprentissage (~ 10¹⁸ octets)
• dimension des vecteurs (3840 pour Gemma 4 12B)
• longueur du contexte pris en compte (272 000 token de base pour GPT 5.4, extensible à 1 000 000)

En conséquence :

• cela se traduit par :
  • des milliards de paramètres
  • des besoins colossaux en capacités de calcul

=> Besoin de centres de calcul spécialisés (les “data center”) avec des microprocesseurs spécifiques (GPU)

Qu’est-ce qu’un paramètre ?

Un paramètre est essentiellement un coefficient numérique appris.

Exemple simplifié (régression):

y = a·x + b

Données d’entrée :

x	y
1	3
2	5.1
3	6.9

Le modèle apprend :

a	b
2	1

Remarques :

• Dans un LLM moderne : plusieurs milliards de coefficients
• 1 paramètre peut être un float (32 bits), mais peut être ramené à 1 octet (8 bits), voire moins, ce qui permet de réduire la taille du modèle (sans beaucoup de dégradation des résultats) : quantification

Principe de l’entraînement

• Le modèle reçoit une immense quantité de textes :
  • livres ;
  • articles ;
  • documentation technique ;
  • pages web ;
  • code source.
• Pour chaque position :
  • on masque le token suivant ;
  • le modèle tente de le prédire ;
  • l’erreur est calculée (distance entre les embeddings du token prédit et du token suivant réel) ;
  • les paramètres sont ajustés.

Entraînement : prise en compte des erreurs

Exemple :

Entrée :

Les oiseaux peuvent …

Réponse attendue :

voler

Si le modèle prédit :

nager

une erreur est calculée.

Les paramètres sont alors modifiés afin de réduire cette erreur.

LLM avec raisonnement explicite

Pour obtenir de meilleurs résultats, certains LLM mettent en place un “raisonnement” : lorsqu’un prompt leur est donné, il rajoute dans le prépompt des informations de type “Si la tâche demandée n’est pas triviale, découpe-la en sous-étapes”, puis résoud chacune des étapes.

Avantages :

• on a une traçabilité des étapes par lesquelles passe le LLM, donnant quelques explications ;
• chaque étape que tente de résoudre le LLM est plus simple, ce qui limite les risques d’hallucination

Exemples de LLM avec raisonnement explicite :

• GPT 5.x
• DeepSeek-R1
• Qwen3