Le small data fait mieux que le big data !

Dans tous les domaines, les progrès de l’intelligence artificielle permettent d’exploiter des quantités de données de plus en plus impressionnantes pour nous assister dans nos décisions : c’est le big data. Mais à force de parler de big data, on oublie un peu vite qu’on peut déjà améliorer notre jugement en utilisant très peu de données. C’est ce qu’on pourrait appeler le small data.

Un exemple célèbre illustre ce principe. Supposez que vous vouliez prévoir la qualité future des vins de bordeaux dans un millésime donné. La démarche experte normale, c’est de prendre en compte un grand nombre de facteurs – et bien sûr de goûter les vins. C’est ce qui permet de dire que ce sera une bonne année, une grande année, une année exceptionnelle, etc.

 
Supposez maintenant qu’un économiste, américain de surcroît, vous dise : moi, je fais cette prévision en n’utilisant que quelques chiffres, et sans goûter les vins. L’économiste s’appelle Orley Ashenfelter, et son modèle de prévision utilise trois données seulement : la température moyenne de la saison, la pluviométrie de l’hiver, et celle des vendanges. Pour construire sa formule, il a simplement collecté les données historiques sur ces trois paramètres. Il a ensuite attribué à chacune un coefficient – en utilisant un modèle de régression, une technique statistique très simple. 

Bien sûr, les professionnels du vin sont sceptiques, voire franchement critiques. Mais à l’usage, ils s’aperçoivent que sa formule fonctionne très bien ; et même mieux que les prévisions de beaucoup d’experts…

L’expert peut se laisser impressionner

Le contraste entre ces deux méthodes illustre une controverse qui remonte aux années 1950 entre les méthodes statistiques et les méthodes cliniques, ou si on préfère, entre les données et le jugement des experts. La méthode statistique, c’est celle de notre économiste, qui identifie quelques données déterminantes, et qui s’en sert pour bâtir un modèle de prévision. La méthode « clinique », c’est celle des négociants qui disent : pas du tout, chaque année est différente, et il faut goûter les vins. Cette opposition entre méthodes se retrouve dans tous les domaines où des experts doivent formuler des jugements, du diagnostic médical à la prévision du risque de crédit en passant par le recrutement. Dans toutes ces situations, on peut raisonner au cas par cas : on a alors un expert qui va prendre en compte l’historique de chaque patient, la situation de chaque demandeur de crédit, la personnalité de chaque candidat… Ou bien, on peut avoir une approche statistique, en identifiant quelques critères qui sont de bons prédicteurs et en décidant de leur faire confiance.

Cette controverse entre méthodes, en fait, n’en est plus une. Des dizaines d’études sont arrivées à la même conclusion : la méthode statistique marche au moins aussi bien que l’expertise, et souvent beaucoup mieux. Les raisons de cette supériorité sont complexes, mais on peut les résumer de la manière suivante : Un expert est capable de prendre en compte beaucoup plus de dimensions dans son évaluation, mais l’importance qu’il leur accorde va varier d’un cas à l’autre. Le modèle, lui, décide une fois pour toutes du poids de chaque critère. Il ne se laisse pas impressionner. Il ne prend en compte que les données qu’on lui fournit. Pour cette raison, même des modèles très simples qui n’utilisent que quelques données font des prévisions plus exactes, en moyenne, que des professionnels très expérimentés.

En d’autres termes, partout où nous avons à prendre des décisions récurrentes qui utilisent les mêmes critères, nous avons intérêt à développer un outil d’aide à la décision qui va le faire mieux que nous. C’est exactement la promesse de l’intelligence artificielle et du big data. Mais contrairement à ce qu’on croit, il n’y a pas forcément besoin de beaucoup de données. Dans le big data, on croit que ce qui compte, c’est la quantité, alors que c’est surtout la rigueur. Ce n’est pas le « big » : c’est le data.

Source : Jung et al., “Creating Simple Rules for Complex Decisions”, Harvard Business Review, April 2017