La capacité d'un modèle et pourquoi elle compte selon la taille des données

La capacité d'un modèle est l'éventail de régularités qu'il peut représenter. Un modèle linéaire a une faible capacité : il ne peut ajuster que des relations linéaires. Un arbre de décision profond ou un réseau de neurones a une capacité élevée : il peut ajuster des régularités complexes et non linéaires. La capacité compte parce qu'elle doit correspondre à la fois à la complexité de la régularité vraie et à la quantité de données dont vous disposez. Trop peu de capacité sous-apprend ; trop de capacité surapprend.

Capacité, taille des données et complexité de la régularité

Un modèle à capacité élevée a besoin d'assez de données pour estimer ses nombreux paramètres de façon fiable. Avec 50 lignes, un réseau de neurones à 10 couches surapprendra : il a assez de capacité pour mémoriser l'ensemble d'entraînement, y compris son bruit. Avec 50 000 lignes, le même réseau peut bien généraliser. Un modèle à faible capacité sur des données complexes sous-apprend : un modèle linéaire sur une relation fortement courbée ne peut pas capturer la courbe, quelle que soit la quantité de données. La correspondance entre capacité, taille des données et complexité de la régularité détermine si le modèle généralise.

Un exemple concret

Supposons que la vraie relation entre le tempo et les écoutes sur 14 jours soit en U : les pistes de tempo très bas et très haut obtiennent moins d'écoutes, celles de tempo moyen en obtiennent plus. Un modèle linéaire ne peut pas capturer la forme en U — il sous-apprend. Un modèle quadratique ou un arbre peu profond le peut. Un arbre profond sur 100 lignes surapprend : il capture la forme en U plus le bruit de chaque ligne. La bonne capacité se situe quelque part entre le linéaire et l'arbre profond, et dépend du nombre de lignes dont vous disposez.

Comment ajuster la capacité

Pour les arbres, contrôlez la profondeur et la taille minimale des feuilles. Pour les modèles linéaires, ajoutez ou retirez des variables et des termes polynomiaux. Pour les réseaux de neurones, changez le nombre de couches et d'unités. La régularisation réduit efficacement la capacité utilisable sans changer le nombre de paramètres. Le guide de scikit-learn sur les modèles linéaires régularisés explique comment la régularisation contraint la capacité (scikit-learn : modèles linéaires).

Erreurs courantes

Une erreur est de choisir par défaut le modèle à plus haute capacité disponible, ce qui surapprend sur de petites données. Une autre est d'utiliser un modèle à faible capacité sur une régularité réellement complexe et de conclure que les variables n'ont pas de signal. Une troisième est d'augmenter la capacité sans augmenter les données, ce qui aggrave le surapprentissage.

Un exercice

Sur un ensemble de quelques centaines de lignes, entraînez des modèles de capacité croissante (linéaire, arbre peu profond, arbre profond). Notez l'erreur d'entraînement et de validation. Trouvez la capacité où l'erreur de validation est la plus basse. Pour le parcours d'apprentissage plus large, voir les aperçus du programme d'IA appliquée ou le programme d'analyse de données.