Feriez-vous confiance à un algorithme ?

De la finance au recrutement en passant par la médecine, les algorithmes sont partout. Leurs applications sont de plus en plus nombreuses : on pense, bien sûr, aux voitures autonomes. Et l'une des questions essentielles que soulève le développement des algorithmes, c’est de savoir si nous sommes prêts à leur faire confiance.

La question est d’actualité, mais elle n’est pas nouvelle pour autant. Il y a plus de 60 ans, avec les travaux de Paul Meehl, qu’on sait que des formules peuvent faire de meilleures prévisions que les experts humains. Cette observation a été confirmée par des centaines d’études, dans des domaines qui vont de la psychiatrie à la prévision de ventes, en passant par la prévision de la récidive criminelle et la sélection à l’université. Dès qu’il s’agit de combiner plusieurs informations pour faire une prévision dans un domaine incertain, les machines font mieux que nous. Avec l’IA, la prévision de la machine devient encore meilleure, mais on n’a pas eu besoin de l’attendre pour avoir des machines meilleures que nous. Des formules très simples sont capables de produire de meilleurs jugements que les experts.

Peut-être que cette information vous surprend (bien qu’elle soit très solidement établie). Ce n’est pas étonnant : les formules et les algorithmes ont beau être performants, nous ne leur faisons pas confiance. Dans pratiquement tous les domaines que Meehl et ses successeurs ont étudié, les experts ont pris connaissance de ses travaux, ont haussé les épaules, et ont continué comme si de rien n’était. Meehl et ses co-auteurs ont inventorié au moins 17 raisons qui expliquent ce désintérêt, à commencer, bien sûr, par la crainte des experts de devenir tout simplement inutiles. Mais la raison de fond vaut pour les experts comme pour nous, simples utilisateurs : en général, nous ne faisons tout simplement pas confiance aux algorithmes.

Cette « aversion aux algorithmes », comme l’appellent les chercheurs qui étudient ce sujet, mérite d’être analysée. Car si les algorithmes sont plus fiables que nous, c'est-à-dire s’ils se trompent moins souvent, nous nous privons d’une opportunité en ne suivant pas leur avis.

Deux études de Berkeley Dietvorst et de ses collègues permettent de comprendre cette aversion aux algorithmes. Dans une première étude, les chercheurs ont cherché à comprendre si des sujets qui doivent faire une prévision (et dont la rémunération dépend de la qualité de cette prévision) choisissent de suivre l’avis d’une machine ou celui d’un expert humain. Ils ont donc d’abord permis à leurs sujets de se familiariser avec les prévisions de l’algorithme et celles de l’expert, en les observant sur un certain nombre de prévisions, dont ils pouvaient ensuite mesurer l’exactitude. Il en ressort l’observation suivante : les sujets de l’étude sont prêts, a priori, à faire confiance à l’algorithme, mais dès qu’ils voient que l’algorithme fait des erreurs, ils perdent confiance. Tandis que quand l’humain fait des erreurs – même si ces erreurs sont plus nombreuses – ils ne lui retirent pas leur confiance. Tout se passe comme si nous attendions de la machine une forme de perfection : nous savons que l’erreur est humaine, mais c’est une prérogative que nous ne sommes pas prêts à partager.

La deuxième étude de Dietvorst et de ses collègues confirme cette hypothèse en faisant, cette fois, varier le degré d’incertitude de l’environnement. Dans un environnement prévisible, les humains se trompent moins souvent que dans un environnement très incertain, et les algorithmes aussi. Dans un cas comme dans l’autre, les algorithmes font mieux que les humains. Mais les sujets de l’étude n’acceptent de prendre l’avis de l’algorithme que quand l’environnement est assez prévisible. Quand on est dans l’incertitude et que l’algorithme se trompe beaucoup, on préfère le choix humain – même s’il se trompe encore plus.

Vous retrouverez sans doute dans cette observation vos propres comportements. Rappelez-vous votre réaction à une technologie nouvelle et encore imparfaite : les premiers GPS, ou les premiers logiciels de traduction automatique. Après quelques essais peu concluants, vous avez sans doute cessé de les utiliser. Mais maintenant que votre application préférée de choix d’itinéraires vous donne de bons conseils dans l’écrasante majorité des cas, vous lui faites enfin confiance. Nous ne sommes prêts à faire confiance aux machines que lorsqu’elles deviennent quasi-infaillibles.

Le problème, c’est que beaucoup de prévisions sont intrinsèquement très incertaines. Dans un choix de recrutement, par exemple, même le meilleur algorithme fera toujours beaucoup d’erreurs. Conséquence : nous ne lui faisons pas confiance… même s’il est meilleur que nous. Bref, dans l’incertitude, nous préférons nous tromper tout seuls, quitte à nous tromper plus souvent. Est-ce bien raisonnable ?