Le compromis biais-variance expliqué sans mathématiques lourdes

Quand un modèle performe mal, la cause est généralement l'une de deux opposés : il est trop simple pour capturer la régularité (sous-apprentissage, biais élevé), ou il est trop complexe et capture le bruit comme si c'était du signal (surapprentissage, variance élevée). Le compromis biais-variance est le nom du curseur entre les deux. Il n'est pas nécessaire d'avoir des mathématiques lourdes pour l'utiliser — il faut reconnaître les symptômes et savoir quel levier déplace le curseur.

Ce que biais et variance signifient en pratique

Le biais est l'erreur due à des hypothèses de modèle trop rigides — une droite ajustée à une relation courbe a un biais élevé. La variance est l'erreur due à un modèle trop sensible à l'échantillon d'entraînement particulier — un modèle très souple qui change radicalement quand on échange quelques lignes a une variance élevée. Le sous-apprentissage se présente comme une erreur élevée à la fois à l'entraînement et à la validation ; le surapprentissage comme une erreur d'entraînement faible mais une erreur de validation bien plus élevée.

Un exemple concret avec des chiffres

Imaginez prédire les écoutes sur 14 jours à partir du tempo. Un modèle qui prédit toujours la moyenne sans tenir compte du tempo a un biais élevé : il ignore le tempo, et l'erreur d'entraînement comme de validation est élevée. Un arbre de décision profond qui mémorise chaque ligne d'entraînement a une erreur d'entraînement faible (proche de zéro) mais une erreur de validation élevée : il ajuste le bruit de l'ensemble d'entraînement, donc une nouvelle piste avec un tempo légèrement différent obtient une prédiction très différente. Un arbre peu profond ou un modèle linéaire se situe entre les deux : un peu de biais, moins de variance, et une meilleure erreur de validation que l'un ou l'autre extrême.

Quel levier déplace le curseur

Pour réduire le biais, rendez le modèle plus souple : ajoutez des variables, utilisez un modèle plus expressif, ou entraînez plus longtemps. Pour réduire la variance, simplifiez ou régularisez : retirez des variables, limitez la profondeur, ajoutez de la régularisation, ou obtenez plus de données d'entraînement. Le guide de scikit-learn sur le sous-apprentissage et le surapprentissage illustre cela avec un exemple concret (scikit-learn : sous-apprentissage vs surapprentissage).

Erreurs courantes

Une erreur est d'ajouter de la complexité pour corriger une variance élevée — cela l'aggrave. Une autre est de régulariser pour corriger un biais élevé — cela l'aggrave aussi. La correction dépend du côté du curseur où vous êtes, c'est pourquoi on compare l'erreur d'entraînement et de validation avant de décider. Une troisième erreur est de poursuivre une amélioration minuscule de validation avec un modèle bien plus complexe ; le gain marginal peut ne pas justifier la variance et le coût de maintenance ajoutés.

Un exercice

Entraînez trois modèles de complexité croissante sur le même découpage : un prédicteur constant, un modèle linéaire, et un arbre profond. Notez l'erreur d'entraînement et de validation pour chacun. Identifiez lequel sous-apprend, lequel surapprend, et lequel équilibre. Pour le parcours d'apprentissage plus large, voir les aperçus du programme d'IA appliquée ou le programme d'analyse de données.