(tests en double aveugle et randomisés)

Une étude avec groupe de contrôle utilise un groupe de contrôle pour la comparaison avec un groupe expérimental dans le test d'une hypothèse causale. Les groupes de contrôle et expérimental doivent être identiques sur tous les paramètres importants sauf en ce qui concerne l'introduction de l'agent causal supposé pour le groupe expérimental. Si l'agent causal supposé est bien un facteur causal d'un événement donné, alors la logique voudrait que l'événement se manifeste plus significativement dans le groupe expérimental que dans le groupe de contrôle. Par exemple, si “ X ” cause “ Y ”, lorsque nous introduisons “ X ” dans le groupe expérimental et pas dans le groupe de contrôle, nous devrions trouver que “ Y ” arrive significativement plus souvent dans le groupe expérimental que dans le groupe de contrôle. La significativité est mesurée par rapport au hasard : si un événement a une faible probabilité, alors son apparition est significative.

Un test en double aveugle est un test avec groupe de contrôle où ni l'évaluateur ni le sujet ne savent quels éléments font partie du groupe de contrôle. Un test randomisé est un test dans lequel les éléments sont affectés aléatoirement au groupe de contrôle ou au groupe expérimental.

Le but du groupe de contrôle, le double aveugle et la répartition aléatoire est de pour diminuer les erreurs, l'aveuglement et le biais. Un exemple permettra de clarifier la nécessité de ces protections.

Le LifeGuard DKL Modèle 2, des Laboratoires DielectroKinétique, peut détecter un être humain en détectant un signal de battements de coeur dans un rayon de 20 mètres à travers n'importe quel matériau, selon ses fabricants. Sandia Labs a testé l'appareil en double-aveugle et répartition aléatoire. Sandia est un laboratoire de sécurité nationale de Sandia Corporation, filiale du groupe Lockheed Martin, et travaillant pour Département de l'énergie américain. L'hypothèse causale qu'ils ont testée peut être formulée comme suit : les battements du coeur humain génère un signal directionnel qui fait réagir le LifeGuard, ce qui permet à l'utilisateur du LifeGuard de trouver un être humain caché (la cible) dans un rayon de 20 mètres, quels que soient les obstacles entre le LifeGuard et la cible.

La procédure de test était très simple : cinq grandes caisses de plastique étaient disposées en ligne à intervalles de 10 mètres et l'opérateur du test, utilisant le LifeGuard DKL Modèle 2, essayait de détecter dans laquelle des caisses se cachait un être humain. Une processus aléatoire déterminait si la caisse devait contenir ou non un être humain. Ceci afin éviter d'utiliser une distribution qui aurait pu être détectée par le sujet. Leur test ont montré que l'appareil ne faisait pas mieux que ce qu'on obtiendrait par le simple hasard. L'opérateur du test était un représentant de DKL. Le seul moment où l'opérateur du test a obtenu de bons résultats dans la détection des cibles était lorsqu'il avait connaissance des positions des cibles. Le LifeGuard réussissait dix fois sur dix lorsque l'opérateur du test savait où étaient les cibles. Il peut sembler ridicule de tester l'appareil en disant à l'opérateur où se trouvent les objets, mais cela détermine une limite et montre que l'appareil marche. C'est seulement lorsque l'opérateur considère que son appareil marche que le test peut entrer dans le deuxième phase, le test en double-aveugle. En effet, l'opérateur pourra difficilement avancer une hypothèse ad hoc pour expliquer son échec dans le test en double-aveugle, s'il a admis auparavant que son appareil marchait correctement.

Si l'appareil fonctionnait comme il était dit, l'opérateur ne devrait recevoir aucun signal des caisses vides et recevoir un signal des caisses contenant une personne. Dans le test principal du LifeGuard, lorsque ni l'opérateur du test ni l'investigateur chargé de noter les résultats de l'opérateur ne savaient laquelle des cinq positions contenaient la cible, l'operateur a obtenu de mauvais résultats (six sur 25) et a mis quatre fois plus de temps que lorsqu'il connaissait la position de la cible. Si les battements de coeur humains provoquaient une réaction de l'appareil, on pourrait s'attendre à faire une performance significativement meilleure que 6 sur 25, ce qui est ce que l'on peut obtenir par hasard.

Les résultats différents - 10 réussites sur 10 essais contre 6 réussites sur 25 essais - illustrent clairement le besoin de garder le sujet ignorant de l'appartenance au groupe de contrôle. Cette ignorance est nécesssaire pour éliminer l'aveuglement et la validation subjective. L'évaluateur est gardé dans l'ignorance de l'appartenance au groupe de contrôle pour lui éviter d'influencer le sujet de façon subtile, consciemment ou non. Si l'évaluateur connaissait les caisses vides et celles qui contenaient des personnes, il pourrait donner un signal visuel au sujet en regardant uniquement les caisses qui contiennent des personnes. Pour éliminer la possibilité de tricherie ou un biais de l'évaluateur celui-ci est gardé dans l'ignorance concernant l'appartenance au groupe de contrôle.

L'absence de test dans des conditions contrôlées explique pourquoi beaucoup de voyants croient en leurs capacités. Pour tester un sourcier, il ne suffit pas que le sourcier et ses amis vous disent que ça marche en montrant que tous les puits ont été creusés sur les conseils du sourcier. On doit faire un test randomisé en double-aveugle comme celui réalisé par Ray Hyman avec un sourcier expérimenté dans l'émission de PBS Frontiers of Science (19 nov. 1997). Le sourcier prétendait qu'il pouvait trouver des objets métalliques enterrés ainsi que de l'eau. Il a accepté de faire un test dans lequel on choisissait au hasard des nombres qui correspondaient à des seaux retournés placés dans un champ. Les nombres déterminaient dans quels seaux seraient placés un objet métallique. La persone qui plaçait les objets n'était pas celle qui accompagnait le sourcier pendant qu'il essayait de trouver les objets. Les probabilités exactes de trouver un objet métallique par hasard ont pu être calculées. Par exemple s'il y a 100 seaux et que 10 d'entre eux ont un objet métallique, le hasard permet de prédire 10 % de réussite. C'est-à-dire que sur un grand nombre d'essais, obtenir un score d'environ 10 % de réussite peut être espéré de n'importe qui, avec ou sans baguette de sourcier. D'un autre côté, si quelqu'un obtenait de façon durable 80 % ou 90 % de réussite, et que nous soyons sûrs qu'il n'a pas triché, ceci confirmerait les pouvoirs du sourcier.

Le sourcier a fait des allers-retours le long des lignes de seaux avec sa baguette, mais a dit ne pas obtenir de forte réaction. Lorsqu'il choisissait un seau, il disait quelque chose du style qu'il ne pensait pas avoir raison. Il avait raison de dire qu'il n'avait jamais raison! Malgré plusieurs tentatives, il n'a jamais trouvé le moindre objet métallique. Ses résultats sont caractéristiques des sourciers testés dans des conditions contrôlées. Sa réaction était aussi caractéristique : il était réellement surpris. Comme la plupart d'entre nous, le sourcier n'est pas conscient des nombreux facteurs qui peuvent nous empêcher de faire une évaluation correctes des événements : aveuglement, pensée magique, suggestion, biais inconscient, pensée sélective, validation subjective, renforcement de groupe, etc.

Beaucoup d'études avec groupe de contrôle utilisent un placebo pour les groupes de contrôle pour que les sujets continuent d'ignorer si on leur administre l'agent causal en cours de test. Par exemple, le groupe de contrôle et le groupe expérimental recevront tous les deux des pilules identiques dans une étude portant sur l'efficacité d'un nouveau médicament. Une seule des pilules contiendra l'agent testé; l'autre sera un placebo. Dans une étude en double-aveugle, l'évaluateur des résultats ne saurait pas lesquels des sujets ont reçu le placebo jusqu'à ce que son évaluation des résultats observés soit terminée. Ceci pour éviter que le biais de l'évaluateur n'influence les observations et les mesures.