Comprendre le fonctionnement des LLM

Comment ChatGPT pense, apprend et répond à vos questions

Qu’est-ce qu’un LLM exactement ?

Un LLM (Large Language Model) est un modèle d’intelligence artificielle entraîné sur de grandes quantités de textes. Il apprend à prédire le mot suivant dans une phrase à partir des mots précédents. C’est ce principe qui permet à ChatGPT de générer des réponses cohérentes.

Mais contrairement à ce que l’on croit parfois, un LLM :

Ne pense pas comme un humain
N’a pas de conscience ni de mémoire personnelle
Ne comprend pas ce qu’il écrit au sens humain du terme
Devine la meilleure suite à partir de statistiques linguistiques

Comment l’IA apprend à “parler”

Le fonctionnement d’un LLM repose sur deux grandes étapes :

1. L’entraînement initial (pré-entrainement)

Le modèle est exposé à des milliards de mots et de phrases extraits d’Internet, de livres, d’articles scientifiques, etc.

Il apprend à :

Détecter les structures de phrases
Reconnaître les relations entre les mots
Prédire la probabilité du mot suivant dans un contexte donné

Cette phase dure plusieurs semaines ou mois et nécessite des milliers de processeurs et de GPU.

2. L’affinage (fine-tuning)

Une fois entraîné, le modèle est ajusté avec des données spécifiques ou des corrections humaines pour :

Mieux respecter les consignes
Éviter certains biais ou erreurs
Donner des réponses plus utiles ou plus “humaines”

C’est là qu’intervient le renforcement par feedback humain (RLHF), où des évaluateurs humains notent les meilleures réponses, afin d’améliorer la qualité des futures sorties.

Pourquoi dit-on que ChatGPT “devine” les réponses ?

À chaque fois que vous tapez une question, ChatGPT calcule la probabilité du mot le plus pertinent à générer ensuite. Il ne choisit pas ce mot au hasard, mais sur la base :

Du contexte de votre question
Des milliards d’exemples vus pendant l’entraînement
De son réglage interne qui vise la clarté, la politesse, la neutralité, etc.

Cela crée une illusion de pensée… mais il ne fait qu’imiter une conversation cohérente.

Que signifient les “tokens” ?

Un token est un fragment de mot.

Par exemple :

“Bonjour” = 1 token
“Intelligence” = 2 tokens (“Intel” + “ligence”)
“2025.” = 2 tokens

Les LLM fonctionnent avec des tokens, pas avec des mots entiers.
Un prompt de 100 mots contient environ 150 à 200 tokens, et un modèle comme GPT-3.5 peut gérer jusqu’à 4 000 tokens par échange.

Pourquoi c’est important ?
Parce que :

Cela détermine la longueur maximale de vos questions et réponses
Cela influe sur la vitesse de réponse
Cela impacte le prix si vous utilisez une version payante

GPT-3.5 vs GPT-4 : quelles différences ?

Voici les principales différences entre deux des modèles les plus connus :

GPT-3.5

Vitesse = Très rapide
Capacité de tokens = jusqu’à 4 000
Raisonnement complexe = Moyen
Réduction des erreurs = quelques incohérences
Prix (OpenAI) = gratuit

GPT-4

Vitesse = Moins rapide
Capacité de tokens = jusqu’à 32 000
Raisonnement complexe = excellente capacité
Réduction des erreurs = réponses plus fiables
Prix (OpenAI) = payant (abonnement Plus)

Limites connues des LLM

Malgré leurs capacités, les LLM ont des failles importantes à connaître :

Ils peuvent halluciner (inventer des faits)
Ils n’ont pas accès à Internet en temps réel (sauf paramétrage)
Ils peuvent reproduire des biais présents dans les données d’entraînement
Ils ne comprennent pas les émotions, l’ironie ou les métaphores complexes sans contexte
Ils sont sensibles à la formulation du prompt : une petite variation peut changer la réponse

Que fait ChatGPT avec vos données ?

Par défaut, les versions gratuites de ChatGPT :

Ne conservent pas vos conversations de façon nominative
Peuvent utiliser les prompts pour améliorer les performances globales du modèle
Ne partagent pas vos données avec des tiers

Dans la version pro (OpenAI Plus), vous pouvez désactiver l’historique et même exclure vos prompts de l’entraînement.

À noter : certaines intégrations tierces (extensions, plugins) peuvent collecter d’autres données.

Et les autres IA ? Comment se comparent-elles aux LLM ?

Les LLM sont différents des IA classiques qui :

Les LLM, eux, sont généralistes. Ils savent :

D’autres IA comme Claude (Anthropic), Gemini (Google) ou Mistral (open-source) reposent aussi sur des LLM, mais avec des variations dans l’entraînement, les règles de sécurité, ou la taille du modèle.

Ce qu’il faut retenir

Un LLM n’est pas une machine à penser, mais une machine à prévoir le mot suivant

Il est entraîné sur des milliards de textes mais n’a pas conscience de ce qu’il dit

Sa puissance dépend du prompt, du modèle utilisé, et du contexte donné

Il faut savoir formuler les bonnes demandes pour en tirer le meilleur

Les LLM évoluent rapidement et transforment de nombreux métiers

Les compléments outils :

OpenAI Playground pour tester les modèles

Tokenizer (compteur de tokens pour GPT)

GPT for Sheets pour utiliser l’IA dans Google Sheets

PromptHero pour trouver des prompts inspirants

Discord & forums pour discuter avec d’autres utilisateurs