Prédictions déterministes contre probabilistes

Certains modèles produisent une étiquette ferme — « urgent » ou « non urgent ». D'autres produisent un score ou une probabilité — « 72 % de chances d'être urgent ». Cette distinction compte parce qu'elle change la façon dont vous fixez un seuil de décision, si vous pouvez faire confiance aux chiffres comme probabilités, et comment vous comparez les modèles. Une étiquette ferme est une décision déjà prise ; un score est la matière première d'une décision que vous faites encore.

Étiquettes fermes contre scores

Un modèle qui produit une classe ferme a déjà appliqué un seuil, généralement 0,5 sur un score interne. C'est pratique mais peu souple : vous ne pouvez pas ajuster le seuil ultérieurement sans réentraîner ou accéder au score interne. Un modèle qui produit un score vous laisse choisir le seuil au moment de la décision, ce qui compte quand le coût des faux positifs et des faux négatifs diffère. Le guide de scikit-learn sur le réglage du seuil de décision explique cette distinction (scikit-learn : réglage du seuil de décision).

Les scores ne sont pas toujours des probabilités calibrées

Un score qui classe les cas — un score plus élevé signifie plus probablement positif — est utile même si les chiffres ne sont pas de vraies probabilités. Mais si vous voulez dire « ce cas a 72 % de chances d'être une fraude », les scores doivent être calibrés : parmi les cas notés 0,72, environ 72 % devraient réellement être de la fraude. Beaucoup de modèles produisent des scores bien classés mais mal calibrés. La calibration peut être améliorée avec des méthodes comme la mise à l'échelle de Platt ou la régression isotone, mais elle doit être vérifiée, pas supposée.

Un exemple concret

Supposons qu'un modèle de fraude produise un score de 0 à 1. À un seuil de 0,5, il signale 100 transactions, dont 30 sont de la fraude — précision 30 %. En abaissant le seuil à 0,3, il signale 200 transactions, dont 40 sont de la fraude — précision 20 % mais rappel plus élevé. En le montant à 0,7, il en signale 40, dont 28 sont de la fraude — précision 70 % mais rappel plus bas. Le score vous laisse tracer ce compromis ; un modèle à étiquette ferme l'aurait caché. Si les scores sont calibrés, vous pouvez aussi dire « les cas notés au-dessus de 0,7 ont au moins 70 % de chances d'être de la fraude », ce qui appuie une décision basée sur les coûts.

Erreurs courantes

Une erreur est de traiter un score brut comme une probabilité calibrée sans vérifier. Une autre est d'utiliser un modèle à étiquette ferme là où le seuil doit changer avec les coûts d'affaires. Une troisième est de comparer les modèles par leur précision à étiquette ferme quand leurs scores, évalués à travers les seuils, les classeraient différemment.

Un exercice

Prenez un modèle qui produit des scores. Faites varier le seuil de 0,1 à 0,9 et notez la précision et le rappel à chaque valeur. Tracez le compromis. Vérifiez ensuite la calibration : regroupez les scores en bandes et comparez la probabilité prédite moyenne au taux réel de positifs dans chaque bande. Pour le parcours d'apprentissage plus large, voir les aperçus du programme d'IA appliquée ou le programme d'analyse de données.