Du problème du biais de sélection

[Cogite Stibon]

D'un autre coté, plus le nombre de sondés est grand, plus c'est fiable.

Toutes choses égales par ailleurs, oui. Et la précision des résultats obtenus varie comme la racine carré de la taille de l'échantillon.
Mais ça dépends énormément de la façon de constituer l'échantillon. En 1936, un sondage réalisé auprès de 10 millions de personnesdonnait Landon gagnant face à Roosevelt.

[Kraepelin]

...

Juste pour toi:

D'après l'Annexe 2 du rapport, voici les 4 questions qui ont reçu le plus de réponses positives de la part des répondants et répondantes dans la section "harcèlement sexuel". Elles représentent des situations qui pourraient, en effet, représenter des cas de harcèlement sexuel, mais elles pourraient aussi représenter des situations banales de la vie quotidienne qui ne relèvent pas du harcèlement. Je donne des exemples.


Vous a dévisagé.e ou déshabillé.e du regard d’une façon qui vous a rendu mal à l’aise ? 1680 18,1%
(Exemple: «L'autre jour, je suis entrée dans la classe avec mon hijab et les filles au fond de la classe m'ont dévisagé. Ça m'a mise mal à l'aise. ».Réponse à la question: OUI )

Vous a raconté, de manière répétitive, des histoires ou des blagues sexuelles qui étaient offensantes pour vous ? 1459 15,7%
(Exemple: «Dans ma classe de méthodologie, il y a un gars qui raconte souvent des blagues à caractère sexuel. Ça fait rire les autres filles, mais moi je ne les trouve pas drôles du tout. En fait, je n'aime pas ce genre de blagues qui m'apparaissent vulgaires. ». Réponse à la question: OUI )

Vous a fait des remarques désobligeantes au sujet de votre apparence, de votre corps ou de vos activités sexuelles ? 1151 12,4%
(Exemple: «Dans ma classe, certaines filles se moquent de moi parce que je porte des chaussettes dans mes sandales. Je trouve ça humiliant.» Réponse à la question: OUI )

A tenté de démarrer une discussion sur le sexe avec vous, même si cela vous déplaisait (par exemple, a tenté de discuter de votre vie sexuelle avec vous) ? 1150 12,4%
(Exemple: «Dans mon cours de psychanalyse freudienne, il y a un gars qui interprète toutes les décisions du ministre de la santé, Gaétan Barrette, comme étant motivé parc des désirs sexuels inconscients. Comme je ne suis pas d'accord avec lui, il me demande continuellement d'argumenter. ». Réponse à la question: OUI )


MES 4 QUESTIONS:
(1) Si un participant ou une participante répond "OUI" à la question : «[Vous a dévisagé.e ou déshabillé.e du regard d’une façon qui vous a rendu mal à l’aise ?», conclure que la personne a automatiquement été victime de harcèlement sexuel est une ânerie. Oui, non?

(2) Si un participant ou une participante répond "OUI" à la question : «Vous a raconté, de manière répétitive, des histoires ou des blagues sexuelles qui étaient offensantes pour vous ? » , conclure que la personne a automatiquement été victime de harcèlement sexuel est une ânerie. Oui, non?

(3) Si un participant ou une participante répond "OUI" à la question : «Vous a fait des remarques désobligeantes au sujet de votre apparence, de votre corps ou de vos activités sexuelles ? » , conclure que la personne a automatiquement été victime de harcèlement sexuel est une ânerie. Oui, non?

(4) Si un participant ou une participante répond "OUI" à la question : «A tenté de démarrer une discussion sur le sexe avec vous, même si cela vous déplaisait (par exemple, a tenté de discuter de votre vie sexuelle avec vous»), conclure que la personne a automatiquement été victime de harcèlement sexuel est une ânerie. Oui, non?

[Cogite Stibon]

Les exemples sont dans l'étude ou vous venez de les inventer ?

[Kraepelin]

Mise devant les questions de l'annexe 1 et les statistiques de l'annexe 2, tu devrais admettre que la plupart d'entre elles relèvent de situations bénignes qui ne justifient pas de déchirer sa chemise en publique.

La plupart? certainement pas." Quelques unes" est plus approprié.

Voir plus haut les 4 situations les plus fréquemment rapportées et mes exemples.

Comme je l'avais déjà admis dans la discussion d'origine, ...

C'est que tu fais marche arrière dans cette discussion et reprenant les statistiques alarmistes du rapport sans tenir compte du fait que ces statistiques reposent sur des questions que tu admet pourtant être défectueuses.

Ce que tu fais c'est illustrer la représentation que tu te fais de ces point dans ta tête. Moi, je trouve plusieurs représentations possibles et si certaines se rapprochent du hacèlement, d'autres n'y ressemblent pas du tout. C'est cette grande diversité des interprétations possible qui, à mon avis, devrait nous interdire d'affirmer que ce sont automatiquement des cas de harcèlement.Je vais

Là c'est carrément de la mauvaise foi. Les 4 points cités sont clairement du harcèlement sexuel.

Non! Ce qui est clairement du harcèlement sexuel ce sont les exemples que tu donne pour illustrer ces points. L'enbnui, c'est qu'il y a des exemples possibles de situations qui ne relèvent pas du harcèlement sexuel et qui pourraient aussi trouver "OUI" comme réponse.

Il ne s'agit pas d'interprétation mais de d'éléments définis par les textes de lois ...

Le texte de loi ne faisait pas parti du questionnaire et n'entre donc pas en ligne de compte dans l'interprétation des réponses..

... et j'attends toujours que tu les apportes.

Tu veux encore que je te mâche tout le travail?
Tien, voici les principaux articles des lois mis en jeu:
https://www.inspq.qc.ca/agression-sexue ... gal#tab1-1

Peut etre d'ailleurs que le fait que tu les lises, te ferait revoir tes positions.

Je connais assez bien la loi, la règlementation et la jurisprudence. J'ai été agent de griefs pendant 8 ans, Je me suis occupé de tous le cas de harcèlement (sexuel, psychologiques, etc.) au travail dans un Établissement de 600 professionnels et technicien. Je dois cependant dire qu'en 8 ans aucun cas de harcèlement sexuel n'a été rapporté. Soit il n'y en a plus! Soit ils ne sont simplement pas rapportés.

Je modifie ma question : Que ressentirais-tu?

La situation que j'ai vécu et qui se rapproche le plus de ton exemple est un assaut sexuel que j'ai subit il y a 10 ou 15 ans. J'ai dû lever de terre mon agresseur et le coller dans le mur pour calmer ses ardeurs. Je n'attendais pas cet assaut de la part d'un homme que je croyais hétérosexuel, jusqu'alors. Je me suis senti "idiot" de ne pas l'avoir vu venir...

page 18 du rapport.

Ok, Loutre est une patate.

Faute avouée est à moitié pardonnée!

... je vois dejà qu'elle (l'étude) s'adressait à tous les membres du campus, ce qui est un bon point. L'info a aussi été largement diffusée via divers média, second bon point.

C'est le cas de presque toutes les échantillons de convenance. Autrement, il s'agirait d'un échantillon d'un sous-population ciblée.

Il y a eu plus de 9000 participants, ce qui me semble représenter une très grosse part de l'effectif total du campus et donc, qui me semble etre un échantillon non de convenance, mais convenable.

Non! Croire que le nombre arrange les choses est une erreur courante chez ceux qui ne connaissent pas les principes de méthodologie.
Dans les années 50, les grands journaux américains publiaient les résultats de sondages effectués auprès de leurs lecteurs. Malgré les très gros échantillons, ils étaient chaque fois dans les patates parce que les lecteurs d'un quotidien spécifique (conservateur ou libéral) surreprésentent généralement un groupe et ne constituent donc pas un échantillon probabiliste.

Bien sur, il s'agit de volontaires. On ne va pas non plus les enfermer tous dans des amphis et les obliger à répondre.

Tu ne comprend pas la signification du mot "volontaire". Sauf pour le resencement, presque tout les sujets de toutes les recherches sont des personnes qui acceptent de participer. Pourtant, certains appartiennent a un échantillon probabiliste et d'autres non. Il y a différentes façons de composer un échantillon probabiliste qui représente adéquatement un population ou un sous-populations. Juste lancer un appel ;a tous dans le journal étudiant, des placardages ou des E-mail ne suffit pas.

Voici un article sur la non représentativité des tels échantillons:
Jelke Bethlehem, « Peut-on établir des statistiques officielles à partir d’enquêtes en ligne reposant sur le principe de l’autosélection ? » , Statistique Canada, 2009

Car c'est justement là que nous aurions des réponses inadaptées et fausses de la part de personnes forcées de repondre. Alors comment affiner une telle étude en échantillonnant mieux?

Il est bon d'étudier un peu la chimie avant de contredire les théories les mieux admise en chimie...

Meme si cette étude comporte quelques erreurs, elle est utile et semble etre une des premières (ou la première) sur ce sujet. Les avantages qu'elle apporte dépassent donc largement les inconvénients qu'elle soulève.

Bon, nous tombons enfin d'accort sur quelque chose. Par contre, elle n'est utile que si nous l'interprétons avec la prudence nécessaire, c'est à dire en ne glissant pas sur les erreurs d'interprétation des auteurs et des journalistes.

[Cogite Stibon]

Bon, j'ai dis des conneries, mea culpa.

En fait, il y a là un vrai problème - avoir été victime ou non de tels agissements influe sur le choix de répondre à l'enquête, et ça fausse donc les résultats. C'est un problème auquel se heurtent tous les chercheurs en science sociale,et qui n'a pas de vraie solution. et dont la solution est, quand c'est possible, d'utiliser des échantillons probabilistes

Et pour ce qui est de la sélection dans cette étude, Kraepelin a raison.

Quand on n'interroge pas la totalité d'une population, mais seulement un échantillon, on a toujours un risque de se tromper, car l'échantillon n'est pas forcément strictement identique à la population.

Quand on sélectionne l'échantillon au hasard, par exemple en tirant au sort des noms dans la liste des étudiantes, et en les interrogeant, on sait estimer finement un intervalle de confiance en fonction de la taille de l'échantillon.

Quand on ne le fait pas, on prends le risque que d'autres facteurs viennent fausser le résultat. En toute rigueur, la précision obtenue ne dépend alors que du rapport entre la taille de l'échantillon et la taille de la population totale, et ça reste très mauvais.

Dans le cas présent, les 9000 répondantes représentent pratiquement la moitié des étudiantes de l'UQAM. Et malgré ça, l'incertitude est bien plus grande que si on avait interrogé 100 étudiantes sélectionnées au hasard parmi les inscrites.

Prenons le cas où 18% des répondantes répondent "oui" à une question.
On peut supposer que les étudiantes susceptibles de répondre "oui" étaient très motivées pour répondre à l'enquête, et par conséquent, qu'elles sont toutes dans l'échantillon. L'échantillon faisant la moitié de la population, cela veut dire qu'en réalité, seules 9% des étudiantes sont concernées

A l'inverse, on peut supposer que les étudiantes susceptible de répondre "oui" sont très motivées à ne pas répondre. Au point que toutes celles qui n'ont pas répondus auraient répondu "oui". Dans ce cas, cela veut dire que le "oui" concerne en réalité 59% des étudiantes (18% de la moité ayant répondu soit 9%, plus 100% de la moitié n'ayant pas répondu, soit 50%)

Donc au final, on a, en toute rigueur, un intervalle [9% - 59%], ce qui est une imprécision énorme.
Avec une échantillon probabiliste de seulement 100 étudiantes, on aurait un intervalle de confiance (à 95%) de [11%-25%], ce qui est nettement meilleur.

A noter toutefois que les hypothèses que je prends pour calculer les bornes minimales et maximales sont irréalistes dans les deux cas, et que les valeurs réelles sont certainement beaucoup plus proches.

A noter également que si on suppose un effet d'autosélection maximal et totalement irréaliste, dans le cas de cette étude, on divise seulement les chiffres par deux, et ils restent alarmants.

Cogite

[LoutredeMer]

@ Kraepelin et Cogite

je vais lire ça tranquillement et repondre dans la mesure de mon temps disponible.

[thewild]

Le biais de sélection est une réalité aussi dans les sciences "dures".
En 2008, la communauté scientifique travaillant sur la neurocognition a été surprise d'apprendre qu'une grande partie de ses études (publiées, peer-reviewed, et tout le bazar) était biaisée et statistiquement invalide.
En cause, le problème désormais bien connu du "double dipping" en IRM fonctionnelle.
En gros (c'est plus compliqué mais c'est l'idée), les IRM fonctionnelles produisent tellement de données que les expérimentateurs présélectionnent les zones dans lesquelles ils pensent voir une augmentation d'activité. Ils analysent ensuite l'augmentation de l'activité dans ces zones présélectionnées.
Il y a donc risque d'analyse circulaire. Lorsqu'on utilise les mêmes données pour l'inférence et pour l'analyse, on biaise le résultat.

Un cas d'école il me semble (en ce compris la façon dont le problème a été dénoncé et pris en compte par la communauté scientifique).
https://www.ncbi.nlm.nih.gov/pmc/articles/PMC2841687/

[Kraepelin]

@ Kraepelin et Cogite

je vais lire ça tranquillement et repondre dans la mesure de mon temps disponible.

Comme tu sembles avoir du temps libre, j'imagine que tu es passé à travers mes articles. Comprend tu mieux, maintenant' pourquoi un échantillon non probabiliste ne conduit pas à grand chose et combien l'article du Devoir et l'interprétation de la chercheuses sont abusives?

[LoutredeMer]

.@ Kraepelin et Cogite
je vais lire ça tranquillement et repondre dans la mesure de mon temps disponible.

Comme tu sembles avoir du temps libre,

Pas plus que toi

j'imagine que tu es passé à travers mes articles.

Non

[Kraepelin]

j'imagine que tu es passé à travers mes articles.

Non

[jean7]

Est-ce que pour des statistiques d'opinion ou d'étude du comportement humain on ne gagnerait pas aussi à utiliser la technique des plans d'expérience ?

Elle reviendrait à faire du biais de sélection un outil.

On commencerait, vis-à-vis de l'objet de l'étude, par chercher à faire un recensement exhaustif de tous les biais de sélection envisageables.
On organiserait l’échantillonnage de façon à équilibrer et connaitre la position des sondé selon chaque biais.
On observerait ainsi à la fois la réponse du sondage et l'influence des biais, et on pourrait connaitre la significativité des réponses les unes par rapport aux autres.

Bien entendu, ce procédé comporte encore un biais de sélection : celui de la liste des biais mis à l'étude.
Mais la réponse obtenue est beaucoup plus riche parce qu'on sait dire ce qui a été envisagé et ce qui ne l'a pas été dans le cadre de l'étude.

Vous savez si ça se fait déjà un peu comme ça ?

[neuneutrinos]

un échantillon non significatif peut entraîner une conclusion ou son contraire.
Une liste des possibles me semble mal parti.

Sans compter la justification à faire pour que l'étude prouve sa pertinence...

[Cogite Stibon]

On commencerait, vis-à-vis de l'objet de l'étude, par chercher à faire un recensement exhaustif de tous les biais de sélection envisageables.

C'est une tâche sans fin.

On organiserait l’échantillonnage de façon à équilibrer et connaitre la position des sondé selon chaque biais.

Un biais de sélection, c'est un biais dans la façon dont on choisi les sondés, pas un biais du sondé lui même.

On observerait ainsi à la fois la réponse du sondage et l'influence des biais, et on pourrait connaitre la significativité des réponses les unes par rapport aux autres.

Si on a des centaines de variables possibles, on risque de ne rien voir du tout.

[Wooden Ali]

On commencerait, vis-à-vis de l'objet de l'étude, par chercher à faire un recensement exhaustif de tous les biais de sélection envisageables.

En quelque sorte, c'est ce que font les instituts de sondage avec les sondages politiques quand ils catégorisent les résultats obtenus avec les sympathisants de chaque parti. Les différences constatées donnent une bonne idée de l'importance d'un bon échantillonnage et du danger mortel de faire appel à des volontaires non contrôlés pour faire un sondage d'opinions.
En fait, il y a deux façons d'éliminer ces biais. La première est de sélectionner les sondés au hasard et ne pas mégoter sur leur nombre. La seconde est de procéder par panel représentatif en supposant qu'on puisse prendre en compte la quasi totalité des catégories pouvant donner du biais. C'est le coût qui fait souvent choisir les secondes et qui explique, par exemple, certaines déconvenues des soirées électorales.

[dididoudou]

En économie, je m'en tiens à mon biais de confirmation, informé par ce dicton : "un bon économiste, comme une bonne voyante, est quelqu'un qui est expert dans l'art de justifier a posteriori ses prédictions erronées"

[richard]

La détermination des échantillons est tout un art et les instituts de sondage n’ont pas attendu Wooden pour s’en préoccupé.

[MBelley]

Je viens juste de tomber sur cette discussion, et j'y trouve une erreur majeure.

Yves Boisvert, dans son article, a bien identifié le
problème d’échantillonnage. Tous les étudiants et le
personnel de quatre universités francophones du
Québec ont été contactés personnellement et invités
à répondre au sondage. Des réunions et de la
publicité ont aussi été faites dans les deux autres
universités. J’évalue le nombre de personnes ainsi
contactées à au moins 150 000.

De ce nombre, il y a eu 9 284 réponses (6554
étudiant.es et 2730 employé.es), soit un taux de
participation de moins de 6 %. On peut être certain
que le très faible pourcentage des gens qui ont
répondu au sondage sont ceux qui se sont sentis
concernés par cet enjeu, et plus particulièrement
celles et ceux qui ont été victimes d’agression ou de
harcèlement.

Ça ne peut donc pas être représentatif.

[Cogite Stibon]

Vous êtes sur ? J'avais compris que c'était les étudiantes de l'UQAM qui avaient été interrogées.

Dans le cas présent, les 9000 répondantes représentent pratiquement la moitié des étudiantes de l'UQAM.

Bon, ça ne change rien à ma conclusion :

Et malgré ça, l'incertitude est bien plus grande que si on avait interrogé 100 étudiantes sélectionnées au hasard parmi les inscrites.

ça ne la rends qu'encore plus grande.

[Wooden Ali]

La détermination des échantillons est tout un art et les instituts de sondage n’ont pas attendu Wooden pour s’en préoccupé.

Le mot "art" que tu emploies fait frissonner ! L'échantillonnage est au contraire une science exacte dont le malheur est de coûter cher, très cher, trop cher quand on respecte ses règles.

Une nouvelle fois, tu as mal lu/compris ce qu'on te disait. Je n'ai pas "conseillé" les Instituts de sondage sur l’échantillonnage puisque J'ai simplement décrit les deux méthodes les plus utilisées par eux pour minimiser les biais de sélection.
Une chose est sûre : plus on veut des résultats fiables, plus cela coûte cher. Les nombreuses déconvenues dans les prédictions de ces instituts proviennent presque toujours d'une minimisation exagérée des coûts qui maintiennent le biais d'échantillonnage à un niveau trop élevé.

Note que le problème est identique pour le Contrôle Statistique des Procédés (SPC) largement utilisé dans l'industrie manufacturière. Le choix de l'effectif de l'échantillon est souvent dicté par des questions de coût de prélèvement et d'analyse, plus que par un choix raisonné d'un risque acceptable de se tromper. Quand on entend que le SPC, ça ne marche pas, c'est bien souvent qu'on a fait les choses à l'envers : fixer un effectif d’échantillonnage jugé acceptable budgétairement et fermer les yeux sur le risque d'erreur qu'il peut entrainer.

C'est tout fait analogue aux pratiques des instituts de sondage.