L'avenir est largement imprévisible et le restera

On entend un peu partout que l’IA repousse sans cesse les limites de la connaissance, et c’est vrai bien sûr. Mais quelles sont les vraies limites ? peut-on, avec de l’IA et du machine learning, prévoir des résultats importants dans le monde réel, en particulier en sciences sociales ?

Une étonnante étude qui vise à répondre à cette question vient de paraître, signée de 115 scientifiques, sous le leadership de Matthew Salganik.

Les chercheurs ont adopté une démarche courante en IA mais rare en sciences sociales : un concours entre équipes de chercheurs. Ils ont lancé un appel à projets, en définissant les règles du jeu. Pas moins de 160 équipes ont concouru. L’intérêt de la méthode, c’est que si tel ou tel programme échoue, on ne peut pas dire que c’est parce qu’il était mal conçu. Le programme gagnant peut être considéré comme ce qui se fait de mieux, et donc comme une bonne mesure de la prévisibilité (ou de l’imprévisibilité) intrinsèques de ce qu’on étudie.

Et justement, ce qu’on étudie est important. Ici, les chercheurs ont utilisé une base de données très riche, qui porte sur des familles socialement fragiles. Déjà utilisée par des centaines de projets de recherche en sociologie, la base comprend des données sur 4.000 familles, avec une richesse d’informations stupéfiante : près de 13.000 informations sur chaque famille. Les données sont collectées en 6 vagues, quand l’un des enfants de la famille naît, puis quand il fête ses 1er, 3e, 5, 9e et 15e anniversaires. On peut donc suivre l’évolution de ces familles pendant 15 ans, dans les moindres détails.

Pour les besoins du concours, toutes les équipes ont eu accès à toutes les données sur une partie de la base, ce qui leur a permis d’entraîner leurs algorithmes. On leur a ensuite donné accès au reste de la base, mais en leur fournissant seulement les données des cinq premières vagues et en leur demandant de prévoir les résultats clés de la sixième. L’idée est qu’un algorithme apprend, dans la base d’entraînement, à déceler les informations clés qui sont prédictives des résultats de la sixième vague : il prouve ensuite cette capacité de prédiction quand on lui soumet des cas sur lesquels il n’a pas été entraîné. S’il sait tout ce qui est arrivé à une famille pendant 15 ans, l’algorithme peut-il, par exemple, prévoir si le chef de famille perdra son emploi ; si la famille sera expulsée de son logement ; ou quels seront les résultats scolaires de l’enfant ?

La réponse dépend bien sûr des algorithmes : parmi les 160 concurrents, tous ne font pas aussi bien. Mais ce qui est intéressant, c’est de regarder le score des meilleurs. Et le verdict permet de dégager au moins deux grands messages.

- Parmi les six résultats qu’il fallait prévoir, il y a une nette différence dans la qualité de prévision entre deux sortes de scores. Ceux qui décrivent des événement uniques – par exemple, la famille a t elle été expulsée de son logement – sont presque totalement imprévisibles. Ces résultats sont trop aléatoires pour être anticipés, même avec toutes les données possibles. En revanche, les résultats qui reflètent la moyenne d’un grand nombre d’événements (par exemple, la moyenne des notes à l’école) sont nettement plus prévisibles. C’est une idée de base en statistiques, mais qu’on oublie souvent : prévoir un seul événement est infiniment plus difficile que prévoir la moyenne de plusieurs événements du même type.

- La deuxième conclusion est encore plus importante : même les meilleurs modèles ne savent pas prévoir grand chose. Ils font mieux que les humains qui essaient de faire la même prévision, bien sûr.  Mais même avec toutes les données imaginables, même avec le meilleur algorithme, l’IA est très loin d’être omnisciente. Elle fait encore beaucoup, beaucoup d’erreurs de prévision.  Pour tout dire, elle fait à peine mieux qu’un modèle de coin de table concocté à partir de quatre paramètres seulement. 

Ce que cette expérience nous donne, c’est une grande leçon d’humilité sur notre capacité à prévoir le monde réel, en particulier quand il est question de comportements humains. Selon ses convictions philosophiques, on peut y voir différentes causes. Peut-être est-ce une conséquence du libre arbitre des humains en question. Ou de notre incapacité à deviner les voies impénétrables de la divine providence. Ou simplement une manifestation de l’incertitude aléatoire, cette incertitude irréductible qui caractérise de nombreux domaines, depuis les jeux de hasard jusqu’à la physique des particules.

Ce qui est sûr, et que nous avons intérêt à nous rappeler quand nous faisons des plans et des prévisions en tous genres, c’est que l’avenir est en très grande partie imprévisible. La seule chose qu’on peut prévoir, c’est qu’il le restera.