Prévisions : l'IA peut-elle faire mieux que l'humain ?

L’étude des prévisions – et de la manière d’en faire des bonnes – ne date pas d’hier. Parmi toutes les méthodes qui permettent d’améliorer la qualité des prévisions, dans tous les domaines, il en est une qui a fait ses preuves : utiliser plusieurs prévisions indépendantes.

Concrètement, il s’agit simplement à demander à plusieurs experts de formuler des prévisions indépendamment les uns des autres. On peut ensuite utiliser différentes méthodes pour agréger ces opinions. La méthode la plus simple, quand c’est possible, est d’en prendre simplement la moyenne. C’est l’effet « sagesse des foules », connu depuis plus d’un siècle : la moyenne des prévisions est meilleure que les prévisions de presque tous les individus qui contribuent à cette moyenne.

On peut bien sûr raffiner la méthode et aller au-delà d’une simple moyenne. Par exemple, on peut pondérer les opinions en fonction des compétences supposées des contributeurs, ou de leur degré de confiance : c’est ce que font les marchés de prédiction, où l’on parie sur les prévisions qu’on fait, comme des joueurs sur un champ de courses. On peut encore orchestrer un débat entre les experts pour les faire converger : c’est la méthode Delphi et ses variantes. Mais dans tous les cas, l’idée clé est la même : plusieurs prévisions valent mieux qu’une. La foule fait mieux que les individus, parce que les erreurs aléatoires des individus qui composent la foule se compensent.

Mais ça, bien sûr, c’était avant l’IA ! Aujourd’hui, une question nouvelle se pose : les « large language models » (LLMs) comme  ChatGPT font-ils de meilleures prévisions que les experts humains ? Trois études de Philipp Schoenegger et de ses co-auteurs apportent des éléments de réponse.

La première étude suggère que, toute seule, l’IA n’est pas une très bonne prévisionniste. Non seulement elle fait moins bien que la « sagesse des foules », mais elle ne fait pas mieux que la stratégie consistant à répondre au hasard. Bien sûr, cette performance dépend du problème de prévision, et on peut parier que la performance prédictive des IA va continuer à s’améliorer. Mais pour l’instant, les prévisionnistes humains ne sont pas hors jeu !

Dans la deuxième étude, les chercheurs ont donné aux prévisionnistes humains un « assistant IA ». Cet assistant, donc, n’est pas meilleur qu’eux. Et pourtant, avec son aide, les prévisionnistes humains améliorent légèrement leur performance. Apparemment, le seul fait d’être forcés de se remettre en question, de s’interroger un peu plus longtemps, les aide à formuler une meilleure prévision – même quand le modèle qui les challenge n’est pas très bon.

Enfin, dans la troisième étude, les chercheurs se sont demandé ce qui se passe si on n’utilise pas une seule IA, mais… plusieurs. Ils ont donc eu recours à une douzaine de modèles différents, dont ils ont simplement pris la moyenne. C’est la logique de la sagesse des foules, mais avec ce qu’ils appellent une « foule de silicium ». Résultat : Avec une « foule » de 12 modèles, la moyenne de ces modèles, la performance collective de la foule de silicium, parvient à égaler celle de la « foule » humaine.

Ainsi, même quand un modèle ne fait pas mieux qu’un humain, une foule de modèle fait mieux que la foule des humains, qui fait elle-même mieux que presque tous les individus qui la composent.

Ce qui est intéressant dans cette observation, c’est qu’elle nous rappelle un principe fondamental : on ne fait pas disparaître l’incertitude. Aucun humain ne fait de prévision parfaite, et aucune IA non plus.  Il n’y a pas de boule de cristal. Plutôt que chercher à développer l’outil de prévision parfait, mieux vaut en avoir plusieurs.

Sagesse des foules : TTSO du 17/10/2018
médiocre : https://arxiv.org/pdf/2310.13014.pdf
améliorer en assistant : https://arxiv.org/abs/2402.07862
foule de silicium: http://arxiv.org/abs/2402.19379