Bon, j'ai pris le temps de lire en détail l’étude de Allen. J'espère que le gars n'enseigne pas les stats, parce que ce n'est pas franchement brillant. On n'est pas au niveau de Seralini ou de Regnerus, mais pas loin.
Dans le détail, l'étude comprends 8 tableaux de données
Le tableau 1 est un listing des études précédentes sur le sujet. Je n'ai pas vérifié s'il était exhaustif, ni si les données présentées sont correctes, mais 2 choses sautent aux yeux :
- Quand une étude porte sur 2 populations (parents gays et parents lesbiennes), Allen indique en effectif du groupe cible la somme des 2 effectifs, ce qui n'a aucun sens.
- Pour l'étude de Regnerus, Allen indique en effectif du groupe témoin l'effectif total de l'étude.
Le tableau 2 est un listing de variables utilisées dans l'étude. Il n'est pas indiqué à quel sous-ensemble des variables du jeu de données fourni elles correspondent
Le tableau 3 donne les taux de diplômés
non contrôlés pour les différentes populations. Comme disait quelqu'un il y a peu, cela n'a pas beaucoup de sens. Il n'est pas indiqué non plus si les différences sont statistiquement significatives. Bref, elles n'ont aucun sens. Les taux sont aussi données pour des sous-populations ne correspondant pas aux variables de contrôles appliqués dans les tableau 5, 6 et 7.
Le tableau 4 donne les moyennes non contrôlées de certaines variables utilisées dans l'étude.
Les tableaux 5, 6 et 8 donnent les rapports de cote (Odd Ratio) du taux de diplômés selon le type de famille pour 3 populations (Fille seule, garçon seul, Fille et garçon mélangés), et selon 6 combinaisons différentes de variables de contrôles. Cela devrait donner 6x3=18 résultats différents, mais l'étude n'en présente que 10. Selon les contrôles et les populations, les écarts sont parfois significatifs, parfois non. Il n'est pas clair de savoir si les variables de contrôles du tableau 2 correspondent à la liste exhaustive des variables utilisées.
Les
rapports de cote sont faciles à calculer quand on fait une régression logistique, mais leur interprétation n'est pas évident, contrairement à ce que dit Allen. En prenant le cas le plus extrême de son étude, il dit par exemple : "girls living in gay households are only 15 % as likely to graduate compared to girls from opposite sex married homes", soit "Les filles vivant dans des foyers gays ont seulement 15% des chances d'obtenir leur diplôme, par rapport aux filles vivants dans des foyers hétérosexuels". En fait, un odd ratio de 0,15 et un marginal effect de -0.40 correspond au cas où la population témoin a 84% de chance de se diplômer, et la population cible 44% (après contrôle).
44% vs 84%, c'est une très grosse différence, mais on est loin de l'affirmation d'Allen. Rappelons aussi qu'Allen n'indique les résultats des filles vivant chez un couple gay que pour 2 des 6 combinaisons variables de contrôles utilisées pour la population "fille + garçon". Et bizarrement, pour 2 des 3 seules combinaisons donnant des résultats significatifs sur la population "fille + garçon".
Le tableau 7 donne, pour 5 des 18 cas "population + combinaison de variable de contrôle), les rapports de quote pour le taux de "scolarisation l'année précédente". Ces rapports n'étant généralement pas statistiquement significatif, il en conclut à une absence de biais de ce côté là - mais cela ne prouve rien.
Rappelons enfin que le contrôle d'une variable par régression logistique n'est efficace que si la variable suit assez bien une loi logistique, ce qui n'est pas évident du tout pour l'influence de l'age sur le taux de graduation.
De l'aveu même d'Allen, les résultats obtenus ne correspondent aux prédictions d'aucun modèle de développement de l'enfant. L'étude ne valide donc pas une prédiction préalable. Rien n'indique que le choix des variables étudiées, de la tranche d'age retenue, des variables de contrôles utilisées, et des résultats affichés ou non, ont été faits préalablement à l'obtention des données. On ne peut donc pas exclure la possibilité d'un "
data dredging" : Au sein d'un échantillon suffisamment large d'une population homogène, on peut pratiquement toujours trouver une sous-population, une variable étudiée, et un ensemble de variable de contrôle, qui font apparaître une différence apparemment statistiquement significative.
Si les paramètres d'une étude n'ont pas été fixés préalablement à l'obtention des données, les résultats n'ont donc pas valeur de preuve, mais peuvent seulement servir à formuler des hypothèses. Ces hypothèses devront alors être confirmées ou infirmées par une étude reprenant les mêmes paramètres, mais portant sur un autre échantillon.
J'attends donc cette confirmation.
Pour les échantillons statistiques, comme dans d'autres domaines, il n'y a pas que la taille qui compte.
Raisonner a l'instinct sur des problemes de probabilites, c'est le desastre assuré. (Spin Up)
Une graphe sans échelle, c'est bon pour la poubelle