Un modèle va passer en production. Une métrique va être présentée à vos investisseurs. Un test A/B va fixer un prix. Une prévision va engager un budget. Dans tous ces cas, une décision repose sur une analyse que personne, en dehors de son auteur, n'a réellement examinée. Elle est probablement correcte. Mais une analyse fausse ressemble exactement à une analyse juste, et le coût d'une erreur se paie longtemps après.
En science, aucun résultat n'est accepté sans qu'un pair l'ait relu et contesté. C'est ce que je propose à votre équipe : une relecture indépendante, par quelqu'un dont c'est le métier, avant que vous ne décidiez.
Pourquoi même les bonnes équipes se trompent
Ce n'est pas une question de compétence. Silberzahn et ses coauteurs ont confié le même jeu de données et la même question à vingt-neuf équipes d'analystes : leurs conclusions ont divergé, jusqu'au signe de l'effet, uniquement par leurs choix de méthode. Botvinik-Nezer et ses coauteurs ont refait l'expérience avec soixante-dix équipes : même dispersion. Kapoor et Narayanan ont recensé, dans dix-sept disciplines, des centaines d'articles publiés dont les résultats reposent sur une fuite d'information entre les données d'entraînement et celles de test — et dans un cas emblématique, l'avantage annoncé du machine learning disparaît une fois l'erreur corrigée. Kohavi et ses coauteurs, à partir des milliers d'expériences menées chez Microsoft, montrent que des tests A/B significatifs conduisent régulièrement à des conclusions fausses, pour des raisons qui n'apparaissent qu'à un regard exercé.
Ces erreurs ont un point commun : elles ne font pas planter le code. Une validation croisée mal construite, une variable qui contient déjà la réponse, une métrique qui mesure autre chose que ce qu'on croit, une comparaison entre des populations qui ne sont pas comparables, un effet réel mais trop petit pour justifier la décision. Le résultat est plausible, le graphique est propre, et l'entreprise avance dessus.
Le problème commence souvent avant l'analyse. Une question métier doit devenir une question mesurable, avec des données qui peuvent y répondre et une méthode adaptée. Beaucoup d'analyses sont techniquement justes et répondent à une question voisine de celle qui comptait.
Ce que j'apporte. La relecture par les pairs est mon activité depuis plus de vingt ans : comités de programme des conférences de référence de mon domaine, comité éditorial de revue, direction de thèses. Définir une question de recherche qui tienne face à la concurrence internationale, puis vérifier que les données et la méthode y répondent, est exactement ce que fait un directeur de recherche. Je l'applique à vos analyses avec le même niveau d'exigence, et sans aucun intérêt dans la réponse.
Ce que je relis
- La question : ce que vous voulez vraiment savoir, ce que l'analyse mesure réellement, et l'écart entre les deux.
- Les données : leur origine, ce qu'elles contiennent et ne contiennent pas, les biais de collecte, la représentativité.
- La méthode : le choix des outils statistiques ou d'apprentissage, leurs hypothèses, leur adéquation à la question ; les protocoles de validation ; les fuites d'information ; les comparaisons ; l'incertitude des résultats et ce qu'elle autorise à conclure.
- L'interprétation : ce que les résultats permettent réellement d'affirmer, et ce qui relève de l'extrapolation.
- La reproductibilité : peut-on refaire l'analyse dans six mois et obtenir le même résultat ?
Comment je procède
Une relecture porte sur une analyse, un modèle ou une décision, et dure deux à quatre jours. Je lis le code, les données et les documents produits ; j'échange avec les auteurs, comme un relecteur échange avec un auteur, pour comprendre les choix et les contraintes ; je vérifie les points critiques sur vos données ; je rends un avis écrit. Quand l'analyse tient, je le dis, et cet avis a une valeur pour ceux à qui vous la présentez. Quand elle ne tient pas, je dis pourquoi, et ce qu'il faudrait pour qu'elle tienne.
Ce que vous recevez
Un avis écrit, structuré comme une relecture scientifique : ce qui est solide, ce qui est fragile, ce qui est faux, et pour chaque point la raison et la correction possible ; une évaluation de ce que la décision peut ou non s'appuyer sur ces résultats ; et, quand la question de départ mérite d'être reformulée, une proposition de question et de méthode. L'avis porte sur l'analyse, jamais sur les personnes : c'est le principe de la relecture par les pairs, et c'est ce qui la rend utile.
Conseil récurrent
Pour les startups et les équipes R&D qui prennent régulièrement des décisions à partir de leurs analyses, je propose un rôle de conseil scientifique : une demi-journée à une journée par mois, avec relecture des analyses en cours, participation aux choix de méthode, et un interlocuteur à qui poser la question « est-ce qu'on peut se fier à ça ? » avant de décider.
Pour qui
Les équipes data science et R&D de PME, d'ETI et de startups en croissance, dont les analyses fondent des décisions qui engagent l'entreprise : mise en production d'un modèle, métriques présentées à des investisseurs ou à des clients, expérimentation produit, prévisions, choix stratégiques.
Pourquoi moi
Directeur de recherche à Inria, habilité à diriger des recherches, j'ai construit ma carrière sur l'analyse expérimentale de données à grande échelle, publiée dans les conférences les plus sélectives de mon domaine et reprise par la presse internationale. Mes travaux ont notamment établi, sur l'ensemble du graphe de Twitter, que près de six personnes sur dix partagent un article sans l'avoir lu (The Washington Post, Fortune, Les Échos, Slate.fr) — le genre de résultat qui n'a de valeur que si la méthode est irréprochable. J'ai aussi été adjoint du CTO d'une startup, puis fondateur et dirigeant d'une autre : je connais la pression qui pousse à décider vite sur une analyse qu'on n'a pas eu le temps de vérifier.
Diagnostic préalable
Avant toute chose, un appel d'une heure, gratuit et sans engagement, pour comprendre votre situation et vérifier que je peux vous être utile. S'il y a matière, un diagnostic d'une à deux journées : présentation de l'analyse par ses auteurs, lecture rapide, restitution orale des points de vigilance et recommandations écrites. Il conclut sur ce qui mérite une relecture approfondie, une formation, ou rien.