LLM = f(x) : un modèle de langage vu comme une fonction

Rochane Kherbouche explique un grand modèle de langage avec un outil des cours de maths, la fonction : une entrée, des paramètres figés et une sortie en probabilités, avec ses biais et des parades.

Et si l’on expliquait ChatGPT avec ce que les élèves connaissent déjà : y = f(x) ? Cette page de Rochane Kherbouche décrit un grand modèle de langage comme une fonction mathématique.

  • Entrée (x) : tout ce qui est fourni au modèle, prompt, fichier ou outil ;
  • Fonction (f) : le modèle, un ensemble de paramètres figés après l’entraînement ;
  • Sortie (y) : une distribution de probabilités sur les mots suivants ;
  • Biais : complaisance, tendance vers la réponse la plus attendue, biais hérités des données ;
  • Parades : laisser des options ouvertes, proposer des choix, tester le modèle avec des questions dont la réponse est connue.

Découvrir LLM = f(x) :
https://ia-fonction.rochane.fr/