«... élève le biais de publication au niveau de l’œuvre d’art.»

R. Barker Bausell

Type d’analyse de données pour laquelle on regroupe les résultats de plusieurs études, pas nécessairement fructueuses, pour les analyser tous ensemble comme s’il s’agissait d’une seule grande recherche.

Prenons un exemple. Les résultats des expériences ganzfeld présentent une énorme variabilité, indiquant de ce fait qu’ils dépendent grandement de la personne qui les mène. Entre 1974 et 1981, on a publié des résultats pour 42 expériences ganzfeld. On ignore combien d’expériences du genre ont été menées sans faire l’objet d’un rapport ni d’une publication. Charles Honorton a affirmé que 55 % des études ayant fait l’objet d’un rapport montraient des signes de l’existence de quelque chose d’intéressant, sinon de carrément paranormal. Autrement dit, un peu plus de la moitié des études produisaient des résultats statistiques qui n’étaient sans doute pas dus au hasard. Ces résultats pouvaient s’expliquer par un effet psi, mais aussi par des fuites sensorielles ou d’autres faiblesses méthodologiques.

En 1981 ou 1982, Honorton a envoyé toutes les études ayant fait l’objet d’un rapport au sceptique Ray Hyman, qui les a soumises à une méta-analyse. Il a conclu que les données ne permettaient pas de croire à l’existence d’un effet psi, avant tout à cause des nombreuses faiblesses qu’il a découvertes dans les expériences elles-mêmes. Il a ramené les données à 22 études, menées par 8 chercheurs (746 essais, qui comptaient pour 48 % de la base de données). Il a déterminé un taux de succès de 38 % pour ces études, mais après avoir opéré un rajustement tenant compte du préjugé de sélection et de la qualité des études, il a établi le taux de réplique à 31 % plutôt qu’à 55 %.

Selon Hyman, 58 % des études avaient utilisé des procédures de randomisation inadéquates. Il a également découvert des problèmes de fuites sensorielles (les salles n’étaient pas insonorisées, les enregistrements vidéo pouvaient être entendus, etc.), ainsi qu’avec certaines des procédures statistiques employées. Il écrit:

Pour autant que je sache, j’étais la première personne à effectuer une méta-analyse de données parapsychologiques. J’ai fait une méta-analyse des expériences ganzfeld originales dans le cadre de la critique que j’en effectuais. Mon analyse a démontré que certaines faiblesses, tout particulièrement la qualité de la randomisation, pouvaient corréler avec les résultats. Les résultats positifs corrélaient avec des méthodologies inadéquates. En réponse à mes critiques, Honorton a mené sa propre méta-analyse des mêmes données. Lui aussi a établi un pointage pour les faiblesses, mais son système de pointage différait du mien. Dans son analyse, ses cotes de qualité ne corrélaient pas avec les résultats. C’était en partie parce que Honorton a découvert davantage de faiblesses dans les expériences non réussies que moi. D’un autre côté, j’ai trouvé plus de faiblesses dans les expériences réussies que Honorton. Aussi bien Honorton que moi pensions que nous accordions des points en matière de qualité d’une façon objective et non biaisée. Malgré tout, aussi bien lui que moi nous sommes retrouvés avec des résultats correspondants à nos idées préconçues (Hyman, 1996).

Quinze des études ont paru dans des revues à comité de lecture

anonyme, vingt étaient des résumés d’allocutions prononcées durant des réunions de la Parapsychological Association, cinq étaient des monographies, et deux étaient des thèses d’étudiants de premier cycle avec spécialisation en biologie. Pour sa méta-analyse, Honorton a choisi 28 d’entre elles. Carl Sargent en avait effectué 9, Honorton, cinq, John Palmer, 4, Scott Rogo, 4, William Braud, 3 et Rex Stanford, 3. Sargent était à l’origine d’environ le tiers de la base de données.

Honorton a conclu qu’au lieu des 25 % de réussites aléatoires par les sujets, il fallait conclure à un taux de 34 %, résultat qu’on ne pouvait expliquer raisonnablement par la chance. Autrement dit, il était statistiquement signifiant.

Hyman a toutefois soulevé un point crucial à propos des méta-analyses: sceptiques et croyants évaluent les études de façon très différentes, même s’ils se croient équitables et sans parti pris. Honorton est tombé d’accord avec Hyman sur le fait que certaines des études comportaient des problèmes, et qu’on ne pourrait tirer de conclusions générales tant que de nouvelles études, soigneusement conçues et contrôlées, n’auraient pas été menées.

Hyman ne croyait pas que l’effet tiroir pouvait expliquer les choses, mais il a pu se tromper. Il n’existe aucune méthode standard pour évaluer combien d’études auraient dû se retrouver au fond d’un tiroir pour annuler un méta-effet possible. Chaque statisticien applique la formule qui lui est propre, ce qui entraîne différents résultats. On pourrait très bien éviter l’effet tiroir en menant des expériences individuelles plus importantes dans des conditions très strictes.

Le parapsychologue Dean Radin adore les méta-analyses. Dans son livre, The Conscious Universe, il emploi les résultats de méta-analyses pour démontrer l’existence d’un effet psi. À propos des études ganzfeld, il affirme que les résultats de Honorton n’avaient rien à voir avec l’effet tiroir. Honorton avait mené sa propre analyse des résultats non publiés et en avait «conclu qu’il aurait dû y avoir 423 études inédites donnant en moyenne des résultats nuls pour qu’on puisse attribuer l’effet total découvert dans les 28 études de son échantillon à une sélection des données... ce qui correspond à un peu plus de quinze études inédites pour chaque études publiée» (Radin, 1997). Cependant, une autre façon d’analyser les données indique qu’il ne faudrait que 62 études laissées dans le tiroir, ce qui ne correspond qu’à un peu plus de deux études inédites pour chaque étude publiée (Stokes, 2001). Le fait demeure que, dans une certaine mesure, toute formule statistique utilisée pour spéculer sur le nombre d’études aux résultats nuls avant qu’une méta-analyse soit annulée demeure arbitraire. Il vaut la peine de noter qu’en 1975, l’American Parapsychological Association a établi une politique officielle contre la rétention exclusive de résultats positifs.

Susan Blackmore a visité le labo de Carl Sargent et en a dit:

Ces expériences, si merveilleusement bien conçues en théorie, étaient en fait vulnérables à la fraude et aux erreurs de plusieurs façons, et d’ailleurs, j’ai décelé plusieurs erreurs et dérogations au protocole. J’en ai conclu que les études publiées donnaient une impression injuste des expériences et qu’on ne pouvait se fier aux résultats pour en conclure à l’existence d’un effet psi. En fin de compte, les chercheurs et moi avons publié nos opinions divergentes sur le sujet (Blackmore, 1987; Harley et Matthews, 1987; Sargent, 1987). Les principaux chercheurs ont quitté le milieu depuis.
 

Je ne parlerais plus de cette déprimante affaire si ce n’était d’un détail précis. Les données de Cambridge figurent toutes dans l’examen de Bem et Honorton, mais non reconnues. Des 28 études incluses, neuf venaient du labo de Cambridge, plus qu’aucun autre laboratoire, et elles présentaient la deuxième ampleur d’effet en importance après la propre étude de Honorton. Bem et Honorton mentionnent bien qu’un des laboratoires a produit neuf des études, mais ils ne disent lequel. Pas un doute n’est exprimé, pas le moindre mot n’est soufflé sur mon enquête, et pas un lecteur ne pourra soupçonner qu’il y a eu une telle controverse au sujet d’un tiers des études de la base de données («What can the paranormal teach us about Consciousness?», 2001).

Le physicien Victor Stenger dit qu’en parapsychologie, la méta-analyse est «une procédure douteuse... dans laquelle les résultats statistiquement non signifiants de nombreuses expériences sont combinées comme s’il s’agissait d’une seule et même expérience contrôlée» («Meta-Analysis and the file drawer effect»). En théorie, il serait possible de procéder à cent expériences sur de petits échantillons, toujours avec des résultats négatifs, tandis qu’une méta-analyse des mêmes données pourrait produire des résultats statistiquement signifiants, ce qui devrait nous rappeler que statistiquement signifiant ne veut pas nécessairement dire scientifiquement important.