La semaine dernière, nous avons vu que les expériences en blanc et en simple aveugle n’étaient pas satisfaisantes pour tester efficacement et de façon fiable un phénomène.
Je vous conseille vivement de lire l’article si ce n’est pas déjà fait.
Et je vous avais promis de vous révéler une solution qui permet de contourner la plupart des problèmes rencontrés : l’expérience en double aveugle.
Principe
Dans le cas d’une expérience en double aveugle, ni la personne testée ni l’expérimentateur ne connaissent le résultat attendu.
Exemple : ni le patient ni le médecin ne savent si le médicament donné au patient est un placebo. On pourra le savoir après coup grâce à un numéro identifiant la boite par exemple. Ni le médium ni la personne qui le consulte ne connaissent le nom à retrouver. Il sera connu d’une troisième personne, absente lors de l’expérience.
Avantages
Avec cette méthode, ni le patient ni l’expérimentateur ne peuvent influencer les résultats, même involontairement : ils sont protégés de leurs biais de confirmation (puisqu’ils ne savent pas ce qu’ils doivent confirmer) et de nombreux aspects de l’effet placebo. Bien entendu, la fraude devient également extrêmement difficile.
Inconvénients
C’est une procédure complexe et lourde à mettre en place, qui demande du temps et de l’organisation.
Répétition de l’expérience
Imaginons maintenant qu’un test en double aveugle réussisse.
Exemple : le patient guérit. Le médium trouve le bon nom.
Est-ce suffisent pour valider le phénomène ? Dire que le médicament fonctionne, que le médium a un don ?
Bien sûr que non ! Car d’autres facteurs peuvent expliquer cette réussite (cas particulier, hasard…)
Pour que le résultat du test soit fiable, il faut répéter l’expérience un nombre suffisamment grand de fois et étudier les résultats de manière statistique.
Exemple : effectuer le test sur 1000 patients, dont la moitié prennent le vrai médicament et l’autre moitié le placebo. Demander au médium de retrouver le nom de 50 personnes décédées.
Cas simple : le test binaire
Test binaire
Le plus simple est de réduire le test à un test binaire, c’est à dire un test auquel la réponse est oui ou non, pile ou face, etc.
C’est encore mieux si les deux réponses ont une probabilité identique, c’est à dire que si on laissait faire le hasard, on aurait une chance sur deux d’obtenir un résultat positif.
Exemple : Le médium trouve si la personne recherchée est un homme ou une femme, si l’année de naissance est paire ou impaire.
Analyse statistique
On répète le test un certain nombre de fois et on obtient un pourcentage de succès, c’était à dire le nombre de fois où le test a été réussi par rapport au nombre total de tests effectués. Mais à partir de quel pourcentage peut-on dire que l’expérience est un succès ?
Pour cela, il faut comparer les résultats obtenus avec le hasard.
Je vous épargnerai le cours sur les probabilités et la loi binomiale (voir « pour aller plus loin »), mais sachez que si on a un test binaire pour lequel chaque résultat a autant de chance que l’autre de ce produire (type « pile ou face »), on obtient l’histogramme suivant :
En abscisses : le pourcentage de réussites. En ordonnées : le taux de probabilité
On peut donc choisir un chiffre au-delà duquel le résultat de l’expérience sera anormalement bon (souvent : 65%), et un autre en-dessous duquel il sera anormalement mauvais (souvent : 35%)
Si le taux de réussite est supérieur à 65% ou inférieur à 35%, on pourra envisager que la réussite aux tests n’est pas uniquement due au hasard.
Cas complexes
Il n’est pas toujours possible de réduire le test à un test binaire, ou de prévoir les résultats statistiques attendus.
Par exemple, dans le cas d’un médicament, on va comparer ses effets sur les patients en comparant avec un groupe témoin qui aura reçu un traitement placébo.
Cas concret
Afin de bien comprendre le fonctionnement et la mise en place d’une expérience en double aveugle, j’aimerais étudier avec vous l’expérience qu’a fait l’observatoire zététique sur un magnétiseur.
Leur expérience est décrite avec précision ici, j’aimerais revenir sur les étapes principales.
Contexte
Un magnétiseur a contacté l’observatoire zététique pour étudier son « don » de façon scientifique, afin de mieux le comprendre.
Détermination d’un test binaire
Après discussion, le test binaire décidé est celui-ci : le magnétiseur devra déterminer si une personne est présente ou non derrière un paravent.
Test en blanc
Le « cobaye » se place derrière le paravent, le magnétiseur confirme qu’il ressent sa présence
Protocole
On convient de répéter le test 100 fois. La présence ou non de la personne derrière le paravent à chaque test est déterminée de façon aléatoire. Ni le magnétiseur ni les personnes qui notent ses résultats ne savent si la personne est vraiment présente ou non. Les résultats ne sont dévoilés que lorsque l’ensemble des tests sont terminés.
Analyse statistique préalable
On détermine que pour que les résultats de l’expérience soient significatifs, et non dus au hasard, il faut que les nombre de tests réussis soit supérieur à 65.
Résultats
Je vous invite fortement à lire le détail de l’expérience, notamment le travail de discussion qui a lieu avant l’expérience, ainsi que les détails de réalisation (utilisation de casques anti-bruit, positionnement des participants dans l’appartement, etc). Vous pourrez également connaître le résultat de l’expérience.
Ce que cela nous apprend
Nous faisons tous des tests, dans notre vie de tous les jours (est-ce que c’est mon sèche-cheveux qui ne marche plus, ou la prise, ou bien c’est qu’il n’y a plus de courant ? Est-ce que je dors mieux depuis que je prends cette tisane ?)
Certains le font également dans le cadre professionnel.
Nous devons être conscients qu’un grand nombre d’éléments peuvent perturber les résultats de nos tests : des éléments extérieurs, mais aussi nous-même, même inconsciemment, avec nos biais et nos failles.
Si nous voulons obtenir un résultat utile, nous devons éliminer un maximum de ces facteurs.
L’expérience en double aveugle est une méthode, largement utilisée en sciences, qui permet d’éliminer les principales erreurs apportées par les examinateurs autant que par les sujets de l’expérience.
Pour aller plus loin
Cours de première S sur la Loi Binomiale
Photo : allison sur Flickr
Ça me pose problème dans beaucoup de protocoles d’expériences, le fait que l’examinateur soit conscient de ce qu’il recherche et que ça cause un biais (et toutes les expériences où il y a un complice de manière générale).
Cette influence, même inconsciente, qu’on peut avoir sur les résultats du test. L’exemple du magnétiseur en est un très bon parce que c’est typiquement le type d’expérience qui peut être faussé par une bonne lecture de la PNL de la part de la personne qui affirme avoir des pouvoirs.
De toutes façons, la science de manière générale, c’est comme ça : toute la partie arithmétique et théorique est basée sur des conditions parfaites, mais dès qu’on passe à l’expérience réelle, on accumule les différents biais qui peuvent fausser. C’est tout une démarche de rendre les conditions expérimentales les plus proches possibles des conditions parfaites.
Mais vu la complexité de l’être humain, ça me semble bien plus ardu de viser ces conditions idéales pour des tests psycho-sociologiques que pour des tests sur de la chimie ou sur des atomes par exemple…