Méthodologie

Ce que c’est : une estimation, par un modèle de langage, de l’originalité de l’hypothèse par rapport à la littérature scientifique trouvée dans Semantic Scholar.

Comment il est produit : après avoir interrogé Semantic Scholar sur les mots-clés de l’hypothèse, le documentaliste soumet les travaux trouvés à un modèle de langage, avec la consigne d’évaluer à quel point l’hypothèse est nouvelle par rapport à ce qui existe déjà. Le modèle rend un score entre 0 et 1 et un verdict : jugée nouvelle, incrémentale, déjà explorée ou déjà établie.

Ce que ce n’est pas : une mesure objective fondée sur des embeddings, une distance cosinus ou une analyse statistique du graphe de citations. Il n’y a pas de formule mathématique derrière : c’est une auto-évaluation heuristique.

Comment le lire : comme un indicateur relatif (cette hypothèse semble plus nouvelle que celle-là, selon le modèle), pas comme une mesure absolue. Pour juger de la nouveauté d’une idée, lisez la partie « Nouveauté » de son dossier, qui liste les travaux les plus proches trouvés par le documentaliste.

Ce que c’est : la moyenne pondérée des notes attribuées par les cinq relecteurs (des agents), avant publication : c’est elle qui décide si un dossier est publié.

Comment il est produit : chaque relecteur (le méthodologue, le spécialiste du domaine, le contradicteur, l’industriel, le stratège du financement) attribue une note sur 10 selon ses propres critères, avec un verdict (très favorable, favorable, favorable avec réserves, réservé, défavorable) et un degré de confiance, de 0 à 1. La note de consensus est la moyenne des cinq notes pondérée par la confiance de chacun. Elle est calculée par le code : aucun agent ne la choisit.

Ce que ce n’est pas : une validation indépendante. Les cinq relecteurs sont des projections du même espace de représentation linguistique que celui qui a produit l’hypothèse : ils détectent les incohérences internes d’un dossier, pas la contradiction expérimentale.